Оптимальна кількість шарів у нейромережі?

Як визначити оптимальну кількість шарів, які потрібно створити під час реалізації нейронної мережі (Feedforward, зворотне поширення або RNN)?

neural-networks hidden-layers

— v01d
джерело

Існує техніка, яка називається Pruningв нейронних мережах, яка використовується саме для цієї ж мети.

Обрізка проводиться на кількість прихованих шарів. Процес дуже схожий на процес обрізки дерев рішень. Процес обрізки проводиться наступним чином:

Тренуйте велику, щільно пов’язану мережу зі стандартним алгоритмом навчання
Вивчіть треновану мережу, щоб оцінити відносну важливість ваг
Видаліть найменш важливу вагу
перекваліфікувати обрізану мережу
Повторіть кроки 2-4, поки не буде задоволено

Однак існує кілька оптимізованих методів обрізки нейронних сіток, і це також дуже активна область досліджень .

— Світанок33
джерело

Симетричний підхід - це загальний "пошук мережі", застосований до мережевої архітектури. Почніть з малого (так швидко) та автоматично спробуйте більші архітектури. Хоча все це просто груба сила

— Ерік Платон

@EricPlaton +1 для пошуку сітки. Дуже зручно в гіпертурнінгу ML-альго. Але хіба це обчислювально не дуже інтенсивно?

— Dawny33

Так, це дорого. Однак, коли ми можемо почати з малого, перші етапи можуть пройти досить швидко і дати краще уявлення, на що прагнути.

— Ерік Платон

@EricPlaton "Пошук сітки" заслуговує окремої відповіді на його власні :)

— Dawny33

Я думав над цим, але тоді були б дві альтернативні і, можливо, «однаково правильні» відповіді ... Я вважав, що найкращим для читача є скласти відповідь як одну.

— Ерік Платон

Ви можете подивитися на оптимізацію байєсового гіперпараметра як на загальний метод оптимізації втрат (або що-небудь) як функцію гіперпараметрів. Але зауважте, що, чим глибше ваша мережа, тим краще, тому оптимізація втрат як функції кількості шарів робити не дуже цікаво.

Пошук сітки та трохи здорового глузду (як це можна дізнатися, побачивши багато прикладів) мають стати найкращою ставкою.

— kc sayz 'kc sayz'
джерело