Що означає розмір VC про глибоке навчання?

У базовому машинному навчанні нас навчають наступним "правилам":

a) розмір ваших даних повинен бути щонайменше в 10 разів більший за розмір VC вашого набору гіпотез.

б) нейронна мережа з N з'єднаннями має розмір VC приблизно N.

Отже, коли нейрональна мережа глибокого навчання має, скажімо, мільйони одиниць, чи це означає, що ми повинні мати, скажімо, мільярди точок даних? Можете, будь ласка, пролити трохи світла на це?

— Фекіш
джерело

Глибока нейронна мережа не буде мати мільйони одиниць, як ви заявляєте. Однак він матиме мільйонні зв’язки. Я б припустив, що ваше друге правило не відповідає цим мережам, в першу чергу завдяки регульованому характеру (наприклад, CNN із випадом).

— пір

Я думаю, що головне в тому, що пов'язані з ВК не є нескінченними. Якщо вона кінцева, то теорія PAC говорить нам, що навчання можливо. Скільки даних, це інше питання.

— Владислав Довгалеч

Основне правило, про яке ви говорите, не може бути застосоване до нейронної мережі.

Нейронна мережа має деякі основні параметри, тобто її ваги та зміщення. Кількість ваг залежить від кількості з'єднань між мережевими шарами, а кількість зміщення залежить від кількості нейронів.

Розмір необхідних даних сильно залежить від -

Тип використовуваної нейронної мережі .
Методи регуляризації, використовувані в мережі .
Коефіцієнт навчання, який використовується при навчанні мережі.

З цього приводу, більш правильним і впевненим способом дізнатися, чи є модель придатною, є перевірити, чи похибка перевірки близька до помилки навчання. Якщо так, то модель працює нормально. Якщо ні, то модель, швидше за все, є надмірною, і це означає, що вам потрібно зменшити розмір вашої моделі або застосувати методи регуляризації.

— Азраель
джерело

Вам слід жартувати, коли ви говорите, що найкращий спосіб зрозуміти, чи є модель переоснащеною - перевірити, чи помилка перевірки близька до помилки навчання.

— nbro

@nbro, якщо у вас є правильний набір для перевірки на помилку перевірки, це набагато надійніший показник перевитрати для вашої конкретної тренувальної мережі, ніж проходження звичайно дуже вільних меж ВК.

— Дугал

@Dougal Ви просто повторюєте те, що сказали у своїй відповіді.

— nbro

Не моя відповідь @nbro. Але, зважаючи на набір валідації, ви можете отримати тривіальну високу ймовірність, пов’язану з істинною помилкою узагальнення за допомогою Hoeffding або подібного, тоді як проходження VC-меж включає в себе безліч вільних верхніх меж, не характерних для конкретного набору даних та мережі рукою.

— Дугал