Запитання з тегом «rnn»

Ідея, що стоїть за періодичною нейронною мережею (RNN), мені зрозуміла. Я розумію це таким чином: У нас є послідовність спостережень ( о⃗ 1, о⃗ 2, … , О⃗ нo→1,o→2,…,o→n\vec o_1, \vec o_2, \dots, \vec o_n ) (або, іншими словами, багатоваріантний часовий ряд). Кожне окреме спостереження о⃗ io→i\vec o_i - NNN …

11 time-series  neural-networks  predictive-models  intuition  rnn 

Я працюю над документом Cho 2014, який представив архітектуру кодер-декодер для моделювання seq2seq. У статті вони, здається, використовують ймовірність виходу даного входу (або це негативна ймовірність журналу) як функцію втрати для входу довжини та виходу довжини :xxxMMMyyyNNN P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y_1, …, y_N | x_1, …, x_M) = P(y_1 | x_1, …, x_m) …

10 deep-learning  loss-functions  rnn 

Я використовую двонаправлений RNN для виявлення події незбалансованого виникнення. Позитивний клас у 100 разів рідше, ніж негативний. Хоча не використовую регуляризацію, я можу отримати 100% точність на наборі поїздів і 30% на комплект перевірки. Я включаю регуляризацію l2, і результат - лише 30% точність на поїзді, а не довше навчання …

10 neural-networks  deep-learning  regularization  rnn 

Як і багато інших, я знайшов ресурси тут і тут надзвичайно корисними для розуміння клітин LSTM. Я впевнений, що я розумію, як величини течуть і оновлюються, і я досить впевнений, щоб додати також згадані "підключення" та ін. У своєму прикладі я маю на кожному етапі вхідний вектор довжини iта вихідний …

9 machine-learning  neural-networks  lstm  rnn