Чи існує правило для створення дизайну нейронних мереж?

12

Я знаю, що нейромережева архітектура здебільшого базується на самій проблемі та типах введення / виводу, але все ж - завжди є "квадратний", коли він починає будувати. Отже, моє запитання - з урахуванням вхідного набору даних MxN (M - кількість записів, N - кількість особливостей) та C можливих вихідних класів - чи є правило великого пальця до того, з яких шарів / одиниць слід починати?

neural-network

— хиткий
джерело

Можливі відповіді на це питання є дуже специфічними. Можливо, існують деякі корисні правила розпізнавання об’єктів зображення, але ці правила можуть не працювати на іншому наборі даних.

— horaceT

10

На це питання детально відповіли в CrossValided: Як вибрати кількість прихованих шарів і вузлів у нейронній мережі, що подається ?

Однак дозвольте додати свої власні два центи:

Не існує магічного правила вибору найкращої архітектури нейронної мережі, але якщо ви можете знайти архітектуру, яку хтось використав для вирішення подібної проблеми, це часто є відмінною відправною точкою.

Найкраще шукати офіційні чи неофіційні приклади, використовуючи популярні бібліотеки нейронної мережі, такі як Keras, PyTorch або Tensorflow, та архітектури, описані в академічній літературі. керас / приклади на github - чудовий ресурс.

Ці архітектури, ймовірно, були обрані після безлічі спроб та помилок, тому більша частина роботи буде зроблена за вас.

— Імран
джерело

6

Одним із застережень відповіді CrossValided є те, що зараз їй 7 років, і вказує на 15-річний FAQ, щоб отримати "відмінний підсумок" налаштування прихованих шарів. Сказати, що в останні 7-15 років було багато роботи над налаштуванням NN, це трохи заниження. Зростає кількість програм, які виходять за рамки режиму " один прихований шар достатній ". - Однак, для низки проблем глибокий підхід до навчання може бути надмірним. Починати з одного прихованого шару і лише заглиблюватися в разі потреби - це міцна стратегія.

— RM

1

Хороші моменти, RM - Однак друга відповідь є набагато пізнішою.

— Імран

@Imran Я думаю, ви ніколи не відповідаєте на питання ОП. Вибір прихованих вузлів та архітектури - питання дуже глибоке, яке ще не дуже добре зрозуміло. Свідчення ResNet і широкий ResNet з перехресними з'єднаннями.

— horaceT

Дякуємо за Ваш коментар, @horaceT. Моя спроба відповіді мала означати «Немає правила, але є евристика, яку можна застосувати». Мені відомі Res Nets. Будь ласка, дайте мені знати, як ще я можу вдосконалити свою відповідь.

— Імран

3

Я читав документ, який вивчає ідею використання нейронних мереж для проектування інших нейронних мереж, досліджуючи, яка конфігурація вузлів і шарів була найбільш ефективною. Тут ви можете завантажити PDF https://arxiv.org/abs/1611.02120

— Даніель Ефрат
джерело

2

Після відповіді @ Імрана я знайшов цю роботу в одному з коментарів до CrossValidated публікації, до якої він посилався. Окрім спроби знайти потрібну архітектуру за допомогою генетичних моделей (замість того, щоб використовувати велике правило), розділ 2.1 дає деякі теоретичні межі, скільки прихованих одиниць має бути в системі один / два приховані шари.

EDIT: Я перевірив цю теорему і з'ясував, що використання генетичних моделей так само добре, як і вибір випадкової архітектури.

— хиткий
джерело