Чи схильні нейромережі до катастрофічного забування?

Уявіть, що ви показуєте нейронній мережі малюнок лева 100 разів і мітку "небезпечно", тож він дізнається, що леви небезпечні.

А тепер уявіть, що раніше ви демонстрували їй мільйони зображень левів та альтернативно позначали їх як "небезпечні" та "не небезпечні", так що ймовірність того, що лев небезпечний, становить 50%.

Але останні 100 разів підштовхнули нейронну мережу до позитивного сприйняття лева як "небезпечного", тим самим ігноруючи останні мільйони уроків.

Тому, схоже, є нейрологічні мережі в тому, що вони можуть занадто швидко змінити свою думку на основі останніх свідчень. Особливо, якщо попередні докази були посередині.

Чи існує модель нейронної мережі, яка відстежує, скільки доказів вона бачила? (Або це буде еквівалентно тому, щоб дозволити знизити рівень навчання на $1/T$ де $T$ - кількість випробувань?)

Так, дійсно, нейронні мережі дуже схильні до катастрофічного забуття (або перешкод) . В даний час цю проблему часто ігнорують, оскільки нейронні мережі в основному навчаються в режимі офлайн (іноді їх називають пакетною підготовкою ), де ця проблема виникає не часто, а не в Інтернеті або поступово , що є основоположним для розвитку штучного загального інтелекту .

Є деякі люди, які працюють над постійним навчанням протягом усього життя в нейронних мережах, які намагаються адаптувати нейронні мережі до постійного навчання протягом усього життя, що є здатністю моделі постійно навчатись із потоку даних, щоб вони повністю не забували раніше придбані знання під час вивчення нової інформації. Дивіться, наприклад, статтю Постійне навчання протягом усього життя з нейронними мережами: огляд (німецький І. Паризі, Рональд Кемкер, Хосе Л. Част, Крістофер Канан, Штефан Вермтер, який узагальнює проблеми та існуючі рішення, пов'язані з катастрофічними забування нейронних мереж.

Так, проблема забуття старих прикладів тренінгу є характерною характеристикою для нейронних мереж. Я б не назвав це "недоліком", хоча це допомагає їм бути більш адаптивними і дозволяє отримувати цікаві програми, такі як передача навчання (якщо мережа запам'ятала старе навчання занадто добре, точне налаштування його на нові дані було б безглуздо).

На практиці те, що ви хочете зробити, - це змішувати приклади тренувань для небезпечних і не небезпечних, щоб вони не бачили одну категорію на початку та одну в кінці.

Стандартна процедура навчання працює так:

for e in epochs:
    shuffle dataset
    for x_batch, y_batch in dataset:
        train neural_network on x_batxh, y_batch

Зауважте, що змішання в кожну епоху гарантує, що мережа не побачить одні й ті ж приклади тренінгу в одному порядку в кожну епоху і що класи будуть змішані

Тепер, щоб відповісти на ваше запитання, так, зниження рівня навчання зробить мережу менш схильною до забуття попереднього навчання, але як би це діяло в умовах, що не в Інтернеті? Для того, щоб мережа конвергувалась, їй потрібно кілька епох навчання (тобто бачити кожен зразок у наборі даних багато разів).

Те, що ви описуєте, звучить так, що це може бути навмисним випадком тонкої настройки .

Існує фундаментальне припущення, яке робить це міні-пакетне градієнтне спуск для навчальних проблем: Передбачається, що будь-яка партія або тимчасове вікно послідовних партій утворює гідне наближення справжнього глобальногоградієнт функції помилки стосовно будь-якої параметризації моделі. Якщо поверхня помилок пересувається в значній мірі, це може зірвати цілі градієнтного спуску - оскільки градієнтний спуск є локальним алгоритмом уточнення, всі ставки знімаються, коли ви раптом змінюєте базовий розподіл. У прикладі, який ви цитували, катастрофічне забуття здається, що це буде наслідком того, що раніше були "забуті" точки даних, і це або симптом того, що змінилися розподіли, або недостатнє представлення в даних якогось важливого явища , такий, що його рідко можна побачити відносно його важливості.

Повтор досвіду завдяки вивченню підкріплення - це відповідна концепція, яка добре передає цю область. Ось документ, який досліджує цю концепцію стосовно катастрофічного забуття. Поки вибірка достатньо добре відображає справжні градієнти (подивіться на збалансування тренувального зразка для цього) і модель має достатньо параметрів, катастрофічна проблема забування навряд чи виникне. У випадково перетасованих наборах даних із заміною, найімовірніше, це відбувається там, де точки даних певного класу є настільки рідкісними, що навряд чи вони будуть включені протягом тривалого часу під час навчання, ефективно налаштовуючи модель на іншу проблему до отримання відповідного зразка знову видно.

Щоб відповісти на ваше запитання, я сказав би: Можливо, теоретично, але не на практиці.

Проблема полягає в тому, що ви тільки розглянути хронологічний / послідовне навчання.

Лише раз я застосував такий послідовний метод навчання, який називається онлайн-тренінг або Інтернет-машинне навчання . Для цього використовувалася бібліотека wabbit wabbit . Це особливість (не така проблема, як ви вважаєте) цієї бібліотеки, щоб вона хронологічно адаптувалася до вхідних даних, якими вона подається.

Я наполягаю : у випадку з цією бібліотекою Woppal Wabbit це особливість адаптуватися хронологічно. Хочеться, коли ти починаєш лише говорити йому, що леви небезпечні, то він пристосовується до цього.

Але в усіх будь-яких інших випадках, починаючи з вправ на курсах, до змагань з кульових змагань, я використовував рандомізований підмножину вхідних даних як навчальний набір. І це дійсно важливо :

Це важлива частина машинного навчання, яка називається перехресною валідацією . Це спосіб оцінити, наскільки насправді тренується нейрональна мережа.

Отож, щоб добре оцінити обгрунтованість вашої Нейронної мережі, ви берете випадкову підмножину своїх тренувальних даних, коротше кажучи, ви берете щось приблизно як 80% ваших даних для тренувань, а з рештою 20% ви оцінюєте, наскільки часто навчена Нейронна мережа дає хороші прогнози.

І також не можна просто піти без перехресної перевірки через необхідність виявлення перевитрати (що викликає ще одну проблему).

Вам це може здатися можливою теоретичною проблемою, але я схильний говорити, що поточні методи перехресної перевірки роблять ваше занепокоєння неважливим.