Можна отримати кращу АНН, видаливши деякі з'єднання?

11

Мені було цікаво, чи можливо за якихось обставин ANN працює краще, якщо відрізати деякі зв’язки на них, наприклад:

Побудова однієї ANN, взявши паралельно два багатошарові АН і В (паралельні вузли вводу та виходу), додавши кілька "комунікаційних" зв'язків між прихованими шарами А і В?

Чи можна отримати кращі результати узагальнення?

Це якимось чином використовується на практиці чи завжди просто використовується багатошарові повністю пов'язані мережі?

classification neural-networks

— SlimJim
джерело

7

Так, це можливо. Деякі люди детально розглядали цю проблему. Ось старий документ про спосіб зробити це: Оптимальне пошкодження мозку

— carlosdc
джерело

Чому від'єднання вузлів краще, ніж регуляризація? Я подумав, що з регуляризацією немає необхідності обрізати з'єднання - "непотрібні" просто отримають дуже малі ваги, і все.

— andreister

@andreister Я не думаю, що це краще, ніж регуляризація. Я думаю, що це (рання) альтернатива регуляризації. Це дуже стара стаття, регуляризація стала основною в ML в середині-кінці дев'яностих.

— carlosdc

7

Як правило, малі та / або розріджені мережі краще узагальнюються. Ви можете дозволити своєму алгоритму тренінгу викреслити непотрібні з'єднання в мережі фіксованого розміру, застосувавши певну форму зменшення ваги, або ви можете застосувати алгоритм, спрямований на оптимізацію самої мережевої архітектури / топології шляхом видалення непотрібних входів, прихованих вузлів або з'єднань.

Погляньте на ці посилання на ідеї та вихідні точки для подальших досліджень або погляньте на використання еволюційних алгоритмів для проектування, підрізання та оптимізації архітектури.

Castellano, G., Fanelli, AM (2000) 'Варіабельний вибір за допомогою нейромережевих моделей', Нейрокомп'ютинг (31)
Ji C., Psaltis D. (1997) «Синтез мережі за допомогою росту та розпаду, керованого даними», Neural Networks Vol. 10, № 6, стор 1133-1141
Narasimha PL et al (2008) "Інтегрований метод зростаючої обрізки для тренінгових мереж", Нейрокомп'ютинг (71), стор 2831-2847
Шустер, А. (2008) «Міцні артеріальні архітектури нейронної мережі», Міжнародний журнал обчислювальної розвідки (4: 2), стор 98-104

— Грем Джонс
джерело

Мені дуже хотілося б почути більше про частину відповіді про "розгляд використання еволюційних алгоритмів для проектування, обрізки та оптимізації архітектури". Можливо, я поставлю питання про це!

— Артем Казнатчеєв,

6

У більшості випадків, якщо ви видалите непотрібні з’єднання, ви отримаєте кращу мережу. Легко перетренувати (перенастроїти) мережу ---, в цьому випадку вона буде погано працювати на наборі даних перевірки.

Обрізка непотрібних з'єднань, швидше за все, зменшить o ймовірність перетренованості. Будь ласка, дивіться: http://en.wikipedia.org/wiki/Overfitting .

— jb.
джерело

5

Так, можливо. Ми можемо вважати, що зв'язок між обчислювальними об'єднаннями, кількістю прихованих шарів, об'єднує один прихований шар тощо як гіперпараметри. Визначити оптимальні значення для цих параметрів можна, провівши ряд експериментів.

Наприклад:

Ви можете розділити набір даних наступним чином: Набір тренувань 60% даних, перехресне підтвердження 20% даних, Тестування 20% даних,

Потім тренуйте свій NN, використовуючи набір даних тренінгу та параметр настройки, використовуючи набір даних перехресної перевірки.

Нарешті, ви можете використовувати набір даних для тестування для оцінки продуктивності вашого NN.

— Упул
джерело