Які альтернативи VC-виміру для вимірювання складності нейронних мереж?

Я натрапив на кілька основних способів вимірювання складності нейронних мереж:

Наївні та неформальні: підраховують кількість нейронів, прихованих нейронів, шарів чи прихованих шарів
VC-вимір (Eduardo D. Sontag [1998] "VC-розмір нейронних мереж" [ pdf ].)
Обчислювальна $TC^0_d$ та асимптотична обчислювальна складність вимірювання за еквівалентністю .

Чи є інші альтернативи?

Краще:

Якщо показник складності міг би бути використаний для вимірювання нейронних мереж з різних парадигм (для вимірювання зворотних опор, динамічних нейронних мереж, каскадної кореляції тощо) в одній шкалі. Наприклад, VC-розмір може використовуватися для різних типів у мережах (або навіть для речей, крім нейронних мереж), тоді як кількість нейронів корисна лише для дуже конкретних моделей, де функція активації, сигнали (основні суми проти шипів) та інші властивості мережі однакові.
Якщо він має приємне відповідність стандартним міркам складності функцій, що вивчаються мережею
Якщо легко обчислити показник у певних мережах (однак цей останній не є обов'язковим.)

Примітки

Це питання ґрунтується на більш загальному питанні CogSci.SE.

— Артем Казнатчеєв
джерело

Чи не повинна складність також залежати від алгоритму навчання? Розмір VC зазвичай застосовується для методів з опуклими функціями втрат. Якщо у вас є непуклий збиток, ви можете потрапити в ситуацію, коли ваша модель зможе відокремити деякі моменти, але алгоритм навчання ніколи не знайде цього рішення. Для цього я вважаю, що має бути досить важко мати межі, використовуючи структуру мережі. Я погоджуюся з @tdc, що помилка узагальнення - це шлях. Документ Вапніка з теорії статистичного навчання може стати гарним місцем для початку вивчення цього.

— Андреас Мюллер

Відповіді:

Ви можете ознайомитись із статтею "(Не), що обмежує справжню помилку Джона Лангфорда та Річ Каруана (NIPS, 2001)

У рефераті зазначено:

Ми представляємо новий підхід до обмеження істинного коефіцієнта помилок безперервного оцінюваного класифікатора на основі меж PAC-Bayes. Спочатку спочатку будується розподіл за класифікаторами, визначаючи, наскільки чутливий кожен параметр моделі до шуму. Справжній показник похибки стохастичного класифікатора, виявлений при аналізі чутливості, може бути потім жорстко обмежений за допомогою пов'язаної з PAC-Bayes. У цій роботі ми демонструємо метод на штучних нейронних мережах з результатами покращення величини 2 3 порівняно з найкращими детермінованими межами нейронної сітки.

Вони показують, що ви можете застосовувати межі стилю PAC-Bayes до стохастичних нейронних мереж. Однак аналіз стосується лише двошарових нейронних мереж, що подають вперед, із сигмоїдальною функцією передачі. У цьому випадку термін складності залежить лише від кількості вузлів та дисперсії ваг. Вони показують, що для цього встановлення ліній ефективно прогнозує, коли відбудеться перенавчання. На жаль, він насправді не вражає жодного з ваших "бажаних" властивостей!

— tdc
джерело

+1, що виглядає круто - дякую, я погляну. Але я погоджуюсь, що він не відповідає жодному з бажаних властивостей, і з першого боку, здається, не дуже вимірює складність мережі настільки ж, як її продуктивність ... але я думаю, що вони нероздільні.

— Артем Казнатчеєв

На що дивиться - це Помилка узагальнення . Межі, що створюються, зазвичай мають термін, що ґрунтується на помилці навчання, та штрафний термін, що ґрунтується на складності моделі. Все, що вас цікавить, - це термін складності, але він буде інгредієнтом майже в усіх межах. Це відео пояснює це краще, ніж я можу!

— tdc

думаю, що цей напрямок є невірним. Помилка значно відрізняється від складності мережі. хоча існуюча теорія може розмити ці дві. простий приклад - це надмірне розміщення, коли помилка низька, але складність висока. Крім того, помилка може поводитись як протиконкурентні способи складності wrt. наприклад, упередженість. здається, що невелика мережа може недооцінити помилку. etcetera

@vzn, але помилка узагальнення - це помилка на майбутніх даних, тобто, якщо у вас низька помилка тренувань і висока складність, ваша помилка буде обмежена.

— tdc

Крім того, ви також можете зацікавити роботою з розміщенням жиру, яку виконує професор Пітер Бартлетт. Ось вступ до аналізу складності нейронної мережі в документі IEEE 1998 року: Зразкова складність класифікації візерунка з нейронними мережами: розмір ваг важливіший, ніж розмір мережі (Bartlett 1998) [ http: //ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=661502]

— Шон Сінг
джерело