Зміщення оптимізму - оцінки похибки прогнозування

9

У книзі «Елементи статистичного навчання» (доступна у форматі PDF в Інтернеті) обговорюється оптимістичне зміщення (7.21, стор. 229). Він зазначає, що зміщення оптимізму - це різниця між помилкою тренувань та помилкою у вибірці (помилка, яка спостерігається, якщо ми вибираємо нові значення результатів у кожному з початкових навчальних балів) (на нижче).

введіть тут опис зображення

Далі, він констатує, що зміщення оптимізму ( ) дорівнює коваріації наших оціночних значень y та фактичних значень y (формула на нижче). У мене є проблеми з розумінням того, чому ця формула вказує на зміщення оптимізму; Наївно я би подумав, що сильна коваріація між фактичним та передбачуваним просто описує точність, а не оптимізм. Дайте мені знати, чи хтось може допомогти у виведенні формули чи поділитися інтуїцією. $\omega$ $y$ $y$

введіть тут опис зображення

error bias validation

— користувач1885116
джерело

Дуже корисно, дякую! Я думаю, що одне з рівнянь має другорядний друк і має бути:

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y}_i^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

— Сонник

8

Почнемо з інтуїції.

Немає нічого поганого в тому, щоб використовувати для прогнозування . Насправді, не використовуючи це, ми б викидали цінну інформацію. Однак тим більше ми залежимо від інформації, що міститься в $y_i$ $\hat{y}_i$ $y_i$ щоб придумати наш прогноз, тим більш оптимістичним буде наш оцінювач.

З одного крайнього, якщо $\hat{y}_i$ просто $y_i$ , ви будете мати ідеальні в зразковому прогнозуванні ( $R^2 = 1$ ), але ми майже впевнені, що позапробний прогноз буде поганим. У цьому випадку (це легко перевірити самостійно), ступеня свободи буде $df(\hat{y}) = n$ .

З іншого боку, якщо ви використовуєте середній зразок $y$ : $y_i = \hat{y_i} = \bar{y}$ для усіх $i$ , то ваші ступені свободи будуть просто 1.

Перегляньте цю приємну подачу від Райана Тібшірані, щоб дізнатися більше про цю інтуїцію

Тепер схожий доказ на іншу відповідь, але з трохи більшим поясненням

Пам'ятайте, що за визначенням середній оптимізм - це:

ω = E_{y} (E r r_{i n} - \bar{e r r})

$\omega = E_y (Err_{in} - \overline{err})$

= E_{y} (\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [L (Y_{i}^{0}, \hat{f} (x_{i}) | T)] - \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, \hat{f} (x_{i})))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ L(Y_i^0, \hat{f} (x_i) \; |\; T) \right] - {1 \over N} \sum_{i=1}^N L(y_i, \hat{f} (x_i) ) \right)$

Тепер скористайтеся функцією квадратичної втрати та розгорніть квадратні терміни:

= E_{y} (\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [(Y_{i}^{0} - {\hat{y}}_{i})^{2}] - \frac{1}{N} \sum_{i = 1}^{N} (y_{i} - {\hat{y}}_{i})^{2}))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ (Y_i^0 - \hat{y}_i)^2 \right] - {1 \over N} \sum_{i=1}^N (y_i - \hat{y}_i)^2 ) \right)$

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] + E_{y} E_{Y^{0}} [{\hat{y}}_{i}^{2}] - 2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N} \sum_{i=1}^N\left( E_y E_{Y^0}[(Y_i^0)^2] + E_y E_{Y^0} [\hat{y}_i^2] -2 E_y E_{Y^0} [Y_i^0 \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

використання $E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$ замінити:

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y_{i}}}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y_i}^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

= \frac{2}{N} \sum_{i = 1}^{N} (E [y_{i} {\hat{y}}_{i}] - E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}])

$= {2 \over N} \sum_{i=1}^N \left( E[y_i \hat{y}_i] - E_y [y_i] E_y[ \hat{y}_i] \right)$

Для закінчення зауважте це $Cov(x, w) = E[xw] - E[x]E[w]$ , який дає:

= \frac{2}{N} \sum_{i = 1}^{N} C o v (y_{i}, {\hat{y}}_{i})

$= {2 \over N} \sum_{i=1}^N Cov(y_i, \hat{y}_i)$

— cd98
джерело

5

Треба зазначити, що його ім'я написано "Ryan Tibshirani" Роб Тібширані

— Роберт Тібширані

2

Ласкаво просимо на наш сайт, Роб - це привілей мати вас тут, хоча б для виправлення помилки! Якщо ви бачите більше, повідомте нас про це: і, звичайно, ми будемо раді будь-яким відповідям, які ви (або ваші студенти) могли б опублікувати. На вашій роботі широко посилаються на цьому веб-сайті, зокрема ESL та Intro до Bootstrap.

— whuber

Розум пояснює

E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] = E_{y} [y_{i}^{2}]

$E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$ ? Also, is

2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] = 2 E_{y} [E_{Y^{0}} [Y_{i}^{0}] E_{Y^{0}} [{\hat{y}}_{i}]] = 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]

$2 E_y E_{Y^0} [Y_i^0 \hat{y}_i]=2 E_y [E_{Y^0} [Y_i^0]E_{Y^0}[\hat{y}_i]]=2 E_y [y_i] E_y[ \hat{y}_i]$ ?

— Shookie

7

Let $\hat{f}(x_i)=\hat{y}_i$ , then

\begin{aligned} ω & = E_{y} [o p] \\ = E_{y} [E r r_{i n} - \bar{e r r}] \\ = E_{y} [E r r_{i n}] - E_{y} [\bar{e r r}] \\ = E_{y} [\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [L (Y_{i}^{0}, \hat{f} (x_{i}))] - E_{y} [\frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, \hat{f} (x_{i}))] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} E_{Y^{0}} [(Y_{i}^{0} - {\hat{y}}_{i})^{2}] - E_{y} [(y_{i} - {\hat{y}}_{i})^{2}] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] + E_{y} E_{Y^{0}} [{\hat{y}}_{i}^{2}] - 2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E_{y} [y_{i} {\hat{y}}_{i}] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E_{y} [y_{i} {\hat{y}}_{i}] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [y_{i} {\hat{y}}_{i}] - E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [y_{i} {\hat{y}}_{i} - y_{i} E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}] {\hat{y}}_{i} + E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [({\hat{y}}_{i} - E_{y} [{\hat{y}}_{i}]) ([y_{i} - E_{y} [y_{i}])] \\ = \frac{2}{N} \sum_{i = 1}^{N} c o v ({\hat{y}}_{i}, y_{i}) \end{aligned}

$\begin{aligned} \omega &= E_\boldsymbol{y}[op]\\ &=E_\boldsymbol{y}[Err_{in}-\overline{err}]\\ &=E_\boldsymbol{y}[Err_{in}]-E_\boldsymbol{y}[\overline{err}]\\ &=E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}E_{Y^0}[L(Y_i^0,\hat{f}(x_i))]-E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}L(y_i,\hat{f}(x_i))]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[(Y_i^0-\hat{y}_i)^2]-E_\boldsymbol{y}[(y_i-\hat{y}_i)^2]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[({Y_i^0})^2]+E_\boldsymbol{y}E_{Y^0}[{\hat{y}_i}^2]-2E_\boldsymbol{y}E_{Y^0}[Y_i^0\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i^2]+E_\boldsymbol{y}[\hat{y}_i^2]-2E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i]-E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i-y_iE_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i]\hat{y}_i+E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[(\hat{y}_i-E_\boldsymbol{y}[\hat{y}_i])([y_i-E_\boldsymbol{y}[y_i])]\\ &=\frac{2}{N}\sum_{i=1}^{N}cov(\hat{y}_i,y_i) \end{aligned}$ Q.E.D.

— Мацей Лазаревич
джерело

1

Останні чотири кроки можна спростити за допомогою цієї властивості коваріації:

E [x w] - E [x] E [w] = C o v (x, w)

$E[x w ] - E[x] E[w] = Cov(x, w)$

— cd98