1
Які саме механізми уваги?
Механізми уваги були використані в різних документах поглибленого навчання за останні кілька років. Ілля Суцкевер, керівник досліджень Open AI, захоплено похвалив їх: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Евгеніо Кулурчелло з університету Пердю заявив, що RNN та LSTM повинні бути відмовлені на користь суто нейронних мереж, орієнтованих на увагу: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Це здається перебільшенням, але безперечно, …