Математичне / алгоритмічне визначення для накладання

Чи є математичне чи алгоритмічне визначення надфітфінгу?

Часто даними визначеннями є класичний двовимірний графік точок з лінією, що проходить через кожну точку, і крива втрати валідації раптово піднімається вгору.

Але чи є математично суворе визначення?

Так, є (дещо більш суворе) визначення:

Враховуючи модель із набором параметрів, можна сказати, що модель переозброєна даними, якщо після певної кількості навчальних кроків помилка навчання продовжує зменшуватися, тоді як помилка поза вибіркою (тесту) починає зростати.

^{У цьому прикладі вибірка (тест / перевірка) помилка спочатку зменшується синхронно з помилкою поїзда, потім вона починає зростати близько 90-ї епохи, тобто коли починається перевиконання}

Ще один спосіб поглянути на це з точки зору упередженості та дисперсії. Помилка вибірки для моделі може бути розкладена на два компоненти:

• Зміщення: помилка через те, що очікуване значення оціночної моделі відрізняється від очікуваного значення справжньої моделі.
• Варіант: Помилка через те, що модель чутлива до невеликих коливань у наборі даних.

Переобладнання виникає, коли ухил низький, але дисперсія велика. Для набору даних де справжня (невідома) модель:$X$

$Y = f(X) + \epsilon$ - - невідмінний шум у наборі даних, при цьому і , $\epsilon$$E(\epsilon)=0$$Var(\epsilon) = \sigma_{\epsilon}$

і орієнтовна модель:

$\hat{Y} = \hat{f}(X)$ ,

то помилка тесту (для точки тесту даних ) може бути записана як:$x_t$

$Err(x_t) = \sigma_{\epsilon} + Bias^2 + Variance$

з та $Bias^2 = E[f(x_t)- \hat{f}(x_t)]^2$$Variance = E[\hat{f}(x_t)- E[\hat{f}(x_t)]]^2$

(Власне кажучи, ця декомпозиція застосовується у випадку регресії, але подібна декомпозиція працює для будь-якої функції втрат, тобто у випадку класифікації).

Обидва вищенаведені визначення пов'язані зі складністю моделі (вимірюється за кількістю параметрів у моделі): Чим вище складність моделі, тим більше шансів на те, що відбудеться переозброєння.

Дивіться розділ 7 Елементи статистичного навчання щодо суворої математичної обробки теми.

^{Компромісія зміщення та відхилення (тобто перевиконання) збільшується зі складністю моделі. Взято з ESL Глава 7}