Запитання з тегом «lstm»

У мене є основні знання про те, як працюють RNN (і, зокрема, з одиницями LSTM). У мене є живописне уявлення про архітектуру блоку LSTM, тобто клітинки та декількох воріт, які регулюють потік значень. Однак, мабуть, я не до кінця зрозумів, як LSTM вирішує проблему "зникаючих та вибухаючих градієнтів", яка виникає …

13 neural-networks  lstm  rnn  backpropagation 

Для завдання з обробки природних мов (NLP) часто використовуються вектори word2vec як вбудовування для слів. Однак може бути багато невідомих слів, які не фіксуються векторами word2vec просто тому, що ці слова бачать недостатньо часто в навчальних даних (у багатьох реалізаціях використовується мінімальна кількість, перш ніж додати слово до словника). Особливо …

11 natural-language  word2vec  lstm  word-embeddings 

Проблема, з якою я маю справу, - передбачення значень часових рядів. Я переглядаю по одному часовому ряду і, базуючись, наприклад, на 15% вхідних даних, я хотів би передбачити його майбутні значення. Поки що я натрапив на дві моделі: LSTM (довготривала короткочасова пам'ять; клас періодичних нейронних мереж) АРІМА Я спробував обидва …

10 time-series  forecasting  references  arima  lstm 

Я намагаюся зрозуміти архітектуру RNN. Я знайшов цей підручник, який був дуже корисним: http://colah.github.io/posts/2015-08-U Understanding-LSTMs/ Особливо це зображення: Як це вписується у мережу передачі даних? Це зображення лише черговий вузол у кожному шарі?

10 neural-networks  lstm 

Як і багато інших, я знайшов ресурси тут і тут надзвичайно корисними для розуміння клітин LSTM. Я впевнений, що я розумію, як величини течуть і оновлюються, і я досить впевнений, щоб додати також згадані "підключення" та ін. У своєму прикладі я маю на кожному етапі вхідний вектор довжини iта вихідний …

9 machine-learning  neural-networks  lstm  rnn 

Припустимо наступну 1 розмірну послідовність: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... Букви A, B, C, ..тут представляють "звичайні" події. Символи #, $, %, ...тут представляють "особливі" події Тимчасовий проміжок між усіма подіями неоднаковий (що завгодно від секунд до днів), хоча …

9 time-series  deep-learning  rare-events  lstm  sequential-pattern-mining