Я намагаюся зрозуміти компромісію зміщення зміщення, співвідношення між зміщенням оцінювача та зміщенням моделі та співвідношення між дисперсією оцінювача та дисперсією моделі.

Я прийшов до таких висновків:

• Ми схильні перевищувати дані, коли ми нехтуємо зміщенням оцінювача, тобто тоді, коли ми прагнемо лише мінімізувати зміщення моделі, нехтуючи дисперсією моделі (іншими словами, ми прагнемо лише мінімізувати дисперсію оцінювача, не враховуючи упередженість оцінювача теж)
• Навпаки, ми схильні недооцінювати дані, коли ми нехтуємо дисперсією оцінювача, тобто тоді, коли ми прагнемо мінімізувати дисперсію моделі, нехтуючи зміщенням моделі (іншими словами, ми прагнемо мінімізувати упередженість моделі Оцінювач, не враховуючи також варіацію оцінювача).

Чи правильні мої висновки?

Ну, начебто. Як зазначено, ви присвоюєте наміру вченому мінімізувати або зміщення, або дисперсію. На практиці ви не можете чітко спостерігати за змістом або дисперсією вашої моделі (якби ви могли, тоді ви знали би справжній сигнал, і в такому випадку вам модель не потрібна). Загалом, ви можете спостерігати за частотою помилок у вашій моделі лише на певному наборі даних, і ви намагаєтесь оцінити коефіцієнт помилки вибірки за допомогою різних креативних методик.

Тепер ви дійсно знаєте , що, по крайней мере теоретично, ця частота помилок може бути розкладена на зміщення і дисперсії точку, але ви не можете безпосередньо спостерігати цей баланс в будь-якій ситуації конкретного бетону. Тож я трохи повторю ваші спостереження як:

• Модель є непридатною для даних, коли термін зміщення сприяє більшості помилок вибірки.
• Модель є надлишковою для даних, коли термін дисперсії сприяє більшості помилок вибірки.

Взагалі, немає реального способу це точно знати, оскільки ви ніколи не можете по-справжньому спостерігати за ухилом моделі. Тим не менш, існують різні моделі поведінки, які свідчать про те, що перебуваєте в тій чи іншій ситуації:

• Моделі Overfit мають, як правило, набагато гірші показники вмісту на тестовому наборі даних порівняно з набором даних про навчання.
• Моделі Underfit мають тенденцію до схожої якості придатності на тестуванні та наборі даних про навчання.

Це закономірності, які виявляються у відомих графіках коефіцієнтів помилок за складністю моделі, ця - з "Елементів статистичного навчання":

Часто ці сюжети перекриваються кривою зміщення та дисперсії. Я взяв цю з цієї приємної експозиції :

Але, дуже важливо усвідомити, що ви ніколи насправді не бачите цих додаткових кривих у будь-якій реалістичній ситуації.

Ілюструючи зміщення - Variance Tradeoff на прикладі іграшки

Як зазначає @Matthew Drury, в реалістичних ситуаціях ви не можете побачити останній графік, але наступний приклад іграшки може надати візуальну інтерпретацію та інтуїцію тим, хто вважає це корисним.

Набір даних та припущення

$Y$ випадкова величина, визначена як

• $Y = sin(\pi x - 0.5) + \epsilon$$\epsilon \sim Uniform(-0.5,0.5)$ , або іншими словами
• $Y = f(x) + \epsilon$

$x$$Y$$Var(Y) = Var(\epsilon) = \frac{1}{12}$

$\hat f(x) = \beta_0 + \beta_1x + \beta_1 x^2 + ... + \beta_px^p$

Встановлення різних моделей поліномів

Інтуїтивно ви очікуєте, що крива прямої лінії погано працює, оскільки набір даних явно нелінійний. Аналогічно, розміщення полінома дуже високого порядку може бути надмірним. Ця інтуїція відображена на графіку нижче, де показані різні моделі та відповідні їм середньоквадратичні помилки для даних поїздів та випробувань.

Наведений вище графік працює для одного розрізу поїздів / тестів, але як ми можемо знати, чи він узагальнений?

Оцінка очікуваного поїзда та випробування MSE

Тут у нас є багато варіантів, але один підхід полягає в тому, щоб випадковим чином розділити дані між поїздами / випробуваннями - підходити до моделі на заданий розділ і повторювати цей експеримент багато разів. Отриманий MSE можна побудувати на графіку, а середнє значення - це оцінка очікуваної помилки.

Цікаво побачити, що тестовий MSE дивовижно коливається для різних розділів даних поїздів / тестів. Але взяття середнього показника на достатньо великій кількості експериментів дає нам кращу впевненість.

$Y$

 Зміщення - варіаційний декомпозиція

Як пояснено тут, MSE можна розділити на 3 основні компоненти:

$$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + Bias^2[\hat f] + Var[\hat f]$$ $$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2$$

Де в нашому випадку з іграшками:

• $f$
• $\sigma^2_\epsilon$$\epsilon$
• $E[\hat f]$
• $\hat f$
• $E\left[ \hat f - E[ \hat f] \right]^2$

Надаючи наступне відношення

Примітка. На наведеному вище графіку використовуються дані тренувань, щоб відповідати моделі, а потім обчислюють MSE на тесті поїзд + .