Запитання з тегом «rnn»

Яка різниця між подачею і повторюваною нейронною мережею? Навіщо ти використовувати одне над іншим? Чи існують інші мережеві топології?

58 machine-learning  neural-networks  terminology  rnn  topologies 

Я вивчав LSTM деякий час. Я на високому рівні розумію, як все працює. Тим НЕ менше, збирається реалізувати їх з допомогою Tensorflow я помітив , що BasicLSTMCell вимагає кількість одиниць (тобто num_units) параметра. З цього дуже ретельного пояснення LSTM я зрозумів, що одна одиниця LSTM - це одне з наступних …

32 neural-networks  terminology  lstm  rnn  tensorflow 

Нещодавно я прочитав, що періодична нейронна мережа може наближати будь-який алгоритм. Отже, моє запитання: що це точно означає і чи можете ви дати мені посилання, де це доведено?

28 references  rnn 

Які переваги, чому можна використовувати декілька LSTM, складених один на один, у глибокій мережі? Я використовую LSTM, щоб представляти послідовність входів як єдиний вхід. Тож як тільки я маю це єдине представництво - чому я б його передавав знову? Я запитую це, тому що я це бачив у програмі покоління …

25 classification  neural-networks  deep-learning  lstm  rnn 

Механізми уваги були використані в різних документах поглибленого навчання за останні кілька років. Ілля Суцкевер, керівник досліджень Open AI, захоплено похвалив їх: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Евгеніо Кулурчелло з університету Пердю заявив, що RNN та LSTM повинні бути відмовлені на користь суто нейронних мереж, орієнтованих на увагу: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Це здається перебільшенням, але безперечно, …

23 time-series  deep-learning  lstm  rnn  attention 

На це питання вже є відповіді : Як зміни у вартості можуть бути позитивними? (1 відповідь) Що робити, коли моя нервова мережа не навчається? (5 відповідей) Закрито минулого місяця . Я треную модель (періодична нейронна мережа) для класифікації 4 типів послідовностей. Коли я проходжу тренування, я бачу, що втрата тренувань …

21 machine-learning  neural-networks  loss-functions  rnn  training-error 

Я намагаюся зрозуміти різні архітектури періодичної нейронної мережі (RNN), які слід застосувати до даних часових рядів, і я дещо плутаюсь з різними іменами, які часто використовуються при описі RNN. Чи структура структури довготривалої пам'яті (LSTM) та рецидивуючого блоку (GU) по суті є RNN з циклом зворотного зв'язку?

20 neural-networks  lstm  rnn 

Нещодавно я зацікавився LSTM, і я з подивом дізнався, що ваги діляться з часом. Я знаю, що якщо ви поділяєте ваги протягом часу, то ваші послідовності введення часу можуть бути різної довжини. З загальною вагою у вас є набагато менше параметрів для тренування. З мого розуміння, причина, з якої можна …

20 machine-learning  lstm  rnn 

RNN може бути використаний для прогнозування або відображення послідовності послідовностей. Але як RNN можна використовувати для класифікації? Я маю на увазі, ми даємо цілій послідовності одну мітку.

19 machine-learning  neural-networks  rnn 

Я переглядаю такий блог у нейронній мережі LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Автор переробляє вхідний вектор X як [зразки, часові кроки, особливості] для різної конфігурації LSTM. Автор пише Дійсно, послідовності літер є часовими кроками однієї ознаки, а не одним часовим кроком окремих ознак. Ми надали більше контексту для мережі, але не більше послідовності, …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Я хочу зробити проект оптичного розпізнавання символів (OCR). Після деяких досліджень я натрапив на архітектуру, яка здається цікавою: CNN + RNN + CTC. Мені знайомі стислі нейронні мережі (CNN) та періодичні нейронні мережі (RNN), але що таке часова класифікація коннекціоністів (CTC)? Мені б хотілося пояснення в умовах непростої людини.

15 machine-learning  deep-learning  conv-neural-network  rnn 

Я намагаюся зрозуміти застосування високого рівня RNN для маркування послідовностей через (серед інших) документ Graves '2005 про класифікацію фонеми. Підсумовуючи проблему: у нас є великий навчальний набір, що складається з (вхідних) аудіофайлів з одиночних пропозицій та (вихідних) часу початку роботи, часу зупинки та міток для окремих фонем (включаючи декілька "спеціальних" …

15 lstm  rnn 

У періодичній нейронній мережі, як правило, вперед розповсюджуються через кілька часових кроків, "розкручують" мережу, а потім поширюються назад по послідовності входів. Чому б ви не просто оновлювали ваги після кожного окремого кроку в послідовності? (еквівалент використання довжини усікання 1, тому немає чого розкручувати) Це повністю виключає проблему градієнта, що зникає, …

14 time-series  neural-networks  backpropagation  rnn 

У мене є основні знання про те, як працюють RNN (і, зокрема, з одиницями LSTM). У мене є живописне уявлення про архітектуру блоку LSTM, тобто клітинки та декількох воріт, які регулюють потік значень. Однак, мабуть, я не до кінця зрозумів, як LSTM вирішує проблему "зникаючих та вибухаючих градієнтів", яка виникає …

13 neural-networks  lstm  rnn  backpropagation 

Які послідовні проблеми з введенням найкраще підходять для кожної? Чи визначає розмірність входу, яка краще відповідає? Чи проблеми, які потребують "більшої пам'яті", краще підходять для RNN LSTM, тоді як проблеми з циклічними вхідними моделями (фондовий ринок, погода) легше вирішуються HMM? Здається, перекриття багато; Мені цікаво, які тонкі відмінності існують між …

13 time-series  neural-networks  hidden-markov-model  rnn