Чому ваги мереж RNN / LSTM розподіляються впродовж часу?

Нещодавно я зацікавився LSTM, і я з подивом дізнався, що ваги діляться з часом.

• Я знаю, що якщо ви поділяєте ваги протягом часу, то ваші послідовності введення часу можуть бути різної довжини.

• З загальною вагою у вас є набагато менше параметрів для тренування.

З мого розуміння, причина, з якої можна звернутися до LSTM порівняно з іншим методом навчання, полягає в тому, що ви вважаєте, що у ваших даних є якась часова / послідовна структура / залежність, яку ви хочете вивчити. Якщо ви жертвуєте «розкішшю» змінної довжини і приймаєте довгий час обчислення, чи не буде RNN / LSTM без загальних ваг (тобто для кожного кроку у вас різні ваги) краще чи краще, чи щось мені не вистачає?

Прийнята відповідь орієнтована на практичну сторону питання: це вимагатиме багато ресурсів, якщо параметри не поділяться. Однак рішення про розподіл параметрів у RNN було прийнято, коли будь-яке серйозне обчислення було проблемою (1980-ті за вікі ), тому я вважаю, що це був не основний аргумент (хоча все-таки справедливий).

Існують суто теоретичні причини поділу параметрів:

• Це допомагає застосувати модель до прикладів різної довжини. Під час читання послідовності, якщо модель RNN використовує різні параметри для кожного кроку під час тренування, вона не буде узагальнюватися, щоб не побачити послідовності різної довжини.

• Часто послідовності діють за тими ж правилами для всієї послідовності. Наприклад, в NLP:

                                                     "У понеділок пішов сніг"

                                                     "У понеділок пішов сніг"

... ці два речення означають одне і те ж, хоча деталі знаходяться в різних частинах послідовності. Обмін параметрами відображає той факт, що ми виконуємо одне і те ж завдання на кожному кроці, в результаті чого нам не доведеться переучувати правила в кожному пункті речення.

LSTM не відрізняється в цьому сенсі, тому використовує і спільні параметри.

Перспектива "загальної ваги" походить від роздумів про RNN, як провідних мереж, що розгортаються протягом часу. Якби ваги були різними в кожний момент часу, це було б просто підсилювальною мережею. Але, я думаю, інший спосіб подумати про це був би як RNN, вага якого є функцією, що залежить від часу (і це може дозволити вам зберегти можливість обробляти послідовності змінної довжини).

Якби ви це зробили, кількість параметрів лінійно зростатиме з кількістю кроків часу. Це було б великим вибухом параметрів для послідовностей будь-якої помітної довжини. Це дійсно зробить мережу більш потужною, якби у вас були величезні обчислювальні ресурси для її запуску та масивні дані для обмеження її. Для довгих послідовностей це, ймовірно, буде обчислювально нездійсненно, і ви отримаєте надмірний вигляд. Насправді люди зазвичай йдуть у зворотному напрямку, проводячи усічене зворотне розповсюдження через час, яке розкручує мережу лише за короткий проміжок часу, а не за всю послідовність. Це робиться для обчислювальної доцільності. Цікаво, що RNN все ще можуть вивчити тимчасову структуру, яка виходить за межі довжини усікання, оскільки періодичні одиниці можуть зберігати пам'ять раніше.

Я думаю, оскільки RNN з прихованими та прихованими повтореннями (і розподіленими за часом вагами) еквівалентні універсальним машинам Тьюрінга, якщо їх різну вагу для різних етапів часу не робить їх більш потужними.