Чому нейронні мережі здаються ефективнішими з обмеженнями на їх топологію?

Повністю з'єднані (принаймні шар до шару з більш ніж двома прихованими шарами) backprop мережі є універсальними учнями. На жаль, вони часто повільно навчаються і мають тенденцію до надмірної форми або мають незручні узагальнення.

З глузду з цими мережами я помітив, що обрізка деяких країв (так що їх вага дорівнює нулю і неможливо змінити), як правило, дозволяє мережам вчитися швидше і узагальнювати краще. Чи є для цього причина? Це лише через зменшення розмірності простору пошуку ваг, чи є більш тонка причина?

Також, чи краще узагальнення є артефактом «природних» проблем, на які я дивлюся?

Менше вузлів / країв (або країв із фіксованою вагою) означає, що є менше параметрів, значення яких потрібно знайти, і це, як правило, скорочує час на вивчення. Також, коли менше параметрів, простір, який може бути виражений нейронною мережею, має менші розміри, тому нейронна мережа може виражати лише більш загальні моделі. Таким чином, вона менш здатна переставляти дані, а отже, моделі будуть здаватися більш загальними.

Обрізаючи краї, ви скоротили пошуковий простір для алгоритму навчання, який негайно окупиться за час роботи. Ви також ввели обмеження щодо функцій, які мережа може моделювати. Обмеження можуть змусити вашу модель знайти більш загальне рішення, оскільки більш точний варіант недоступний. Поширеною технікою тренування нейронних мереж є використання градієнтної техніки спуску. Іншим наслідком обрізки може бути те, що ви усунули деякі локальні мінімуми в ландшафті параметрів, що знову дозволяє алгоритму тренінгу знайти краще рішення.

Я не був би здивований, якщо ваше краще узагальнення пов'язане з проблемами, на які ви дивитесь. Я користувався успіхом у нейронних мережах, де лежить в основі модель безперервної структури, тоді як випадки, коли є розриви, справи не спрацювали так добре. Майте на увазі також, що продуктивність нейронної мережі часто тісно пов'язана з тим, як ви структуруєте вхід і вихід.