Ефективне обчислення або наближення VC-виміру нейронної мережі


19

Моя мета - вирішити таку проблему, яку я описав своїм входом та виходом:

Вхід:

Направлений ациклічний графік з m вузлами, n джерелами та 1 раковиною ( m > n 1 ).Гмн1м>н1

Вихід:

VC-розмірність (або наближення до неї) для нейронної мережі з топологією .Г

Детальніше :

  • Кожен вузол у - сигмовидний нейрон. Топологія є фіксованою, але ваги на ребрах можна змінювати алгоритмом навчання.Г
  • Алгоритм навчання фіксований (скажімо, зворотне поширення).
  • У вузлів джерел є вхідними нейронами і може приймати тільки рядки з { - 1 , 1 } п в якості вхідних даних.н{-1,1}н
  • Вузол мийки - це вихідний блок. Він виводить реальне значення від яке ми округляємо до 1 або вниз до - 1, якщо воно більше ніж певний фіксований поріг δ від 0 .[-1,1]1-1δ0

Наївний підхід - це просто намагатися розбити все більше і більше точок, намагаючись навчити мережу на них. Однак такий симуляційний підхід не є ефективним.


Питання

Чи є ефективний спосіб (тобто в коли його змінюють на проблему рішення: чи розмір VC менший від вхідного параметра k ?) Для обчислення цієї функції? Якщо ні, чи є результати твердості?Пк

Чи існує добре практичний спосіб обчислити або наблизити цю функцію? Якщо це наближення, чи є гарантії на його точність?

Примітки

Я задавав подібне запитання на stats.SE, але це не викликало інтересу.


1
Це може зробити питання більш самостійним, якщо ви можете зробити функцію передачі більш чіткою. Тобто вкажіть фактичні формули для поширення інформації.
Суреш

Відповіді:


9

2гсжурнал(ес)сге

Це не суворо відповідь на ваше запитання, але це може допомогти вам в дорозі. Результат завдяки Бауму та Хауслеру (1989).

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.