Якщо видалення деяких нейронів призводить до більш ефективної моделі, чому б не використати в першу чергу більш просту нейронну мережу з меншими шарами і меншою кількістю нейронів? Навіщо будувати більшу, більш складну модель на початку і придушувати її частини згодом?
Відповіді:
Функція випадання полягає у підвищенні надійності моделі, а також у усуненні будь-яких простих залежностей між нейронами.
Нейрони видаляються лише за один прохід вперед і назад через мережу - це означає, що їх ваги синтетично встановлені на нуль для цього проходу, і тому їх помилки також є, що означає, що ваги не оновлюються. Випадання також працює як форма регуляризації , оскільки певною мірою карає модель за своєю складністю.
Я рекомендую прочитати розділ «Відпадання» у книзі «Поглиблене навчання в Інтернеті» Майкла Нільсена (безкоштовно та в Інтернеті), яка дає чудову інтуїцію, а також має дуже корисні схеми / пояснення. Він пояснює, що:
Випадання - принципово інша техніка регуляризації. На відміну від регуляризації L1 та L2, відмова від роботи не покладається на зміну функції витрат. Натомість у спаді ми змінюємо саму мережу.
Ось приємна підсумкова стаття . З цієї статті:
Деякі зауваження:
- Випадання змушує нейронну мережу вивчати більш надійні функції, корисні в поєднанні з багатьма різними випадковими підмножинами інших нейронів.
- Випадання приблизно подвоює кількість ітерацій, необхідних для сходження. Однак час навчання для кожної епохи менше.
- З H прихованих одиниць, кожну з яких можна скинути, ми маємо 2 ^ H можливих моделей. На етапі тестування враховується вся мережа і кожна активація зменшується на коефіцієнт p.
Уявіть, що я прошу вас приготувати мені чашку чаю - ви завжди можете використовувати праву руку, щоб налити воду, ліве око, щоб виміряти рівень води, а потім правою рукою знову, щоб перемішати чай ложкою. Це означало б, що ваша ліва рука та праве око служать маленькій меті. Використання відсіву може, наприклад, зав'язати праву руку за спиною - змусити вас використовувати ліву руку. Тепер, зробивши мені 20 чашок чаю, будь-яким оком або однією рукою вийняли дію, ви краще навчитесь використовувати все доступне. Можливо, згодом вас змусять приготувати чай на крихітній кухні, де користуватися чайником можна лише лівою рукою ... і після використання випаду у вас є досвід цього робити! Ви стали більш надійними для невидимих даних.
Випадання фактично не видаляє нейрони, це лише те, що ці конкретні нейрони не грають ніякої ролі (не активуються) для даної партії даних.
Приклад - Припустимо, є дорога з 8 смуг - Коли вантажівки приїжджають, вони проходять смуги 1,2,4,6,7, коли приїжджають машини, вони проходять через смуги 2,3,4,7,8 і коли їдуть велосипеди , вони проходять через смуги 1,2,5,8. Тож незалежно від будь-якого транспортного засобу всі смуги є, але використовуються лише деякі з них.
Так само всі нейрони використовуються в цілій моделі, але для певної групи даних активується лише підмножина нейронів. І модель не згортається пізніше, складність моделі залишається такою, якою є.
Навіщо використовувати випадання?
Як зазначено в книзі глибокого навчання Яна Гудфелло,
випадання є більш ефективним порівняно з іншими стандартними обчислювальними недорогими регуляторами, такими як зменшення ваги, обмеження норми фільтра та обмежена регуляризація активності.
Він також каже:
Однією з переваг випаду є те, що це обчислювально дешево.
Ще однією істотною перевагою відміни є те, що це не суттєво обмежує тип моделі чи тренувальну процедуру, які можна використовувати. Він добре працює майже з будь-якою моделлю, яка використовує розподілене представлення і може бути навчена зі стохастичним градієнтом. Сюди входять подалі нейронні мережі, ймовірнісні моделі, такі як машини з обмеженою діяльністю Больцмана (Srivastava et al., 2014) та періодичні нейронні мережі (Bayer та Osendorfer, 2014; Pascanu et al., 2014a).
Ця книга говорить:
Основна ідея полягає в тому, що введення шуму у вихідні значення шару може порушити шаблони випадків, які не мають значного значення, які мережа почне запам'ятовувати, якщо немає шуму.
Інший спосіб дивитися на те, що робить випадання, полягає в тому, що це схоже на коефіцієнт коваріату (тобто деякий складний термін взаємодії вихідних коваріатів з деякими складними функціональними перетвореннями) в байєсівській моделі. Це тлумачення, запропоноване Ярином Галем у своїй дисертації (див. Його перелік публікацій ).
Ось короткий аргумент махає рукою, чому це так:
Чому ми хотіли б попередньо плити і шипи? Він спонукає байєсівську модель, що порівнює між нейтральною мережею без цього нейрона і тією, що є в ній. Іншими словами, це дозволяє нам висловити невпевненість у тому, чи справді нейтральна мережа повинна мати повну можливу складність і належним чином враховувати цю невизначеність у прогнози Це стосується основної проблеми нейтральних мереж, здатних переобладнати дані (хоча, звичайно, це не єдиний можливий спосіб досягти цього).
Шар, що випадає, без розбору знімає певну частину нейронів, зменшуючи репрезентативну здатність розглянутої моделі. Це заважає мережі встановлювати складні нелінійні межі рішення (тобто "шум" у наборі даних), тим самим запобігаючи (або покращуючи) надлишкове розміщення.
Випадання допомагає покращити продуктивність моделі машинного навчання з наступних причин: