Доказ формули LOOCV

Зі вступу до статистичного навчання Джеймса та ін., Оцінка одноразової перехресної валідації (LOOCV) визначається де .

{CV}_{(n)} = \frac{1}{n} \sum_{i = 1}^{n} {MSE}_{i}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i$

{MSE}_{i} = (y_{i} - {\hat{y}}_{i})^{2}

$\text{MSE}_i = (y_i-\hat{y}_i)^2$

Без доказу рівняння (5.2) зазначає, що для найменших квадратів або поліноміальної регресії (чи стосується це регресія лише на одній змінній мені невідомо), де " є й встроенна значення з початкових найменших квадратів не підходить ( не знаю , що це означає, до речі , чи означає це з використанням усіх точок в наборі даних?) і є кредитне плече » , яке визначається

{CV}_{(n)} = \frac{1}{n} \sum_{i = 1}^{n} {(\frac{y_{i} - {\hat{y}}_{i}}{1 - h_{i}})}^{2}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i - \hat{y}_i}{1-h_i}\right)^2$

{\hat{y}}_{i}

$\hat{y}_i$

i

$i$

h_{i}

$h_i$

h_{i} = \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{\sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}} .

$h_i = \dfrac{1}{n}+\dfrac{(x_i - \bar{x})^2}{\sum\limits_{j=1}^{n}(x_j - \bar{x})^2}\text{.}$

Як це довести?

Моя спроба: можна почати, помітивши, що але крім з цього (і якщо я нагадаю, що формула справедлива лише для простої лінійної регресії ...), я не впевнений, як діяти звідси.

{\hat{y}}_{i} = β_{0} + \sum_{i = 1}^{k} β_{k} X_{k} + some polynomial terms of degree \geq 2

$\hat{y}_i = \beta_0 + \sum\limits_{i=1}^{k}\beta_k X_k + \text{some polynomial terms of degree }\geq 2$

h_{i}

$h_i$

— Кларнетист
джерело

Або ваші рівняння, здається, використовують для більш ніж однієї речі, або я сильно розгублений. У будь-якому випадку додатковою ясністю було б добре.

i

$i$

— Glen_b -Встановіть Моніку

@Glen_b Я щойно дізнався про LOOCV вчора, тому я, можливо, не зрозумів деякі речі правильно. Як я розумію, у вас є набір точок даних, скажімо, . У LOOCV ви маєте для кожного фіксованого (додатного цілого числа) деякий набір перевірки і тестовий набір використовується для створення вбудованої моделі для кожного . Так скажімо, наприклад, ми підходимо до нашої моделі, використовуючи просту лінійну регресію з трьома точками даних, . Ми мали б (буде продовжено)

X = {(x_{i}, y_{i}) : i \in Z^{+}}

$\mathcal{X} = \{(x_i, y_i): i \in \mathbb{Z}^+\}$

k

$k$

V_{k} = {(x_{k}, y_{k})}

$\mathcal{V}_k = \{(x_k, y_k)\}$

T_{k} = X ∖ V_{k}

$\mathcal{T}_k = \mathcal{X}\setminus \mathcal{V}_k$

k

$k$

X = {(0, 1), (1, 2), (2, 3)}

$\mathcal{X} = \{(0, 1), (1, 2), (2,3)\}$

— кларнетист

@Glen_b і . Використовуючи точки в , ми можемо виявити, що, використовуючи просту лінійну регресію, ми отримуємо модель . Тоді ми обчислюємо використовуючи як набір валідації, і отримуємо (просто використовуючи задану точку) та , даючи . Гаразд, можливо, використання верхніх сценаріїв було не найкращою ідеєю - я зміню це в оригінальній публікації.

V_{1} = {(0, 1)}

$\mathcal{V}_1 = \{(0, 1)\}$

T_{1} = {(1, 2), (2, 3)}

$\mathcal{T}_1 = \{(1, 2), (2, 3)\}$

T_{1}

$\mathcal{T}_1$

{\hat{y}}_{i} = X + 1

$\hat{y}_i = X + 1$

MSE

$\text{MSE}$

V_{1}

$\mathcal{V}_1$

y_{1} = 1

$y_1 = 1$

{\hat{y}}_{1}^{(1)} = 0 + 1 = 1

$\hat{y}_1^{(1)} = 0 + 1 = 1$

{MSE}_{1} = 0

$\text{MSE}_1 = 0$

— Кларнетист

Ось кілька конспектів лекцій на сторінках виведення.iu.edu/ ~dajmcdon/teaching/2014spring/s682/lectures/…

— Xavier Bourret Sicotte

Я покажу результат для будь-якої множинної лінійної регресії, незалежно від того, є регресорами поліноми чи ні. Насправді, це показує трохи більше, ніж ви запитували, тому що це показує, що кожен залишок LOOCV ідентичний відповідному залишку, зваженому важелем від повної регресії, а не тільки те, що ви можете отримати помилку LOOCV, як у (5.2) (там Можуть бути й інші способи, за якими середні рівні згодні, навіть якщо не кожен термін у середньому однаковий). $X_t$

Дозвольте мені сміливо використовувати трохи адаптовані позначення.

Спочатку покажемо, що де - оцінка з використанням усіх даних, а оцінка при відсутності , спостереження . Нехай визначається як векторний рядок таким, що . - залишки.

\begin{aligned} \hat{β} - {\hat{β}}_{(t)} & = (\frac{{\hat{u}}_{t}}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'}, (A) \end{aligned}

$\begin{align*} \hat\beta-\hat\beta_{(t)}&=\left(\frac{\hat u_t}{1-h_t}\right)(X'X)^{-1}X_t', \quad\quad \textrm{(A)} \end{align*}$

\hat{β}

$\hat\beta$

{\hat{β}}_{(t)}

$\hat\beta_{(t)}$

X_{(t)}

$X_{(t)}$

t

$t$

X_{t}

$X_t$

{\hat{y}}_{t} = X_{t} \hat{β}

$\hat y_t=X_t\hat\beta$

{\hat{u}}_{t}

$\hat u_t$

Доказ використовує наступний матричний алгебраїчний результат.

Нехай - неоднорідна матриця, вектор і скаляр. Якщо Тоді $A$ $b$ $\lambda$

\begin{aligned} λ & \neq - \frac{1}{b^{'} A^{- 1} b} \end{aligned}

$\begin{align*} \lambda&\neq -\frac{1}{b'A^{-1}b} \end{align*}$

\begin{aligned} (A + λ b b^{'})^{- 1} & = A^{- 1} - (\frac{λ}{1 + λ b^{'} A^{- 1} b}) A^{- 1} b b^{'} A^{- 1} (B) \end{aligned}

$\begin{align*} (A+\lambda bb')^{-1}&=A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\quad\quad \textrm{(B) }\end{align*}$

Доказ (B) випливає негайно з перевірки

\begin{aligned} {A^{- 1} - (\frac{λ}{1 + λ b^{'} A^{- 1} b}) A^{- 1} b b^{'} A^{- 1}} (A + λ b b^{'}) = I . \end{aligned}

$\begin{align*} \left\{A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\right\}(A+\lambda bb')=I. \end{align*}$

Наступний результат корисний для доведення (A)

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} = (\frac{1}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'} . (C) \end{aligned}

$\begin{align} (X_{(t)}'X_{(t)})^{-1}X_t'=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'.\quad\quad \textrm{ (C)} \end{align}$

Доказ (C): За (B) маємо, використовуючи , Отже, ми знаходимо $\sum_{t=1}^TX_t'X_t=X'X$

\begin{aligned} (Х_{(т)}^{'} Х_{(т)})^{- 1} & = (Х^{'} Х - Х_{т}^{'} Х_{т})^{- 1} \\ = (Х^{'} Х)^{- 1} + \frac{(Х^{'} Х)^{- 1} Х_{т}^{'} Х_{т} (Х^{'} Х)^{- 1}}{1 - Х_{т} (Х^{'} Х)^{- 1} Х_{т}^{'}} . \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}&=(X'X-X_t'X_t)^{-1}\\ &=(X'X)^{-1}+\frac{(X'X)^{-1}X_t'X_t(X'X)^{-1}}{1-X_t(X'X)^{-1}X_t'}. \end{align*}$

\begin{aligned} (Х_{(т)}^{'} Х_{(т)})^{- 1} Х_{т}^{'} & = (Х^{'} Х)^{- 1} Х_{т}^{'} + (Х^{'} Х)^{- 1} Х_{т}^{'} (\frac{Х_{т} (Х^{'} Х)^{- 1} Х_{т}^{'}}{1 - Х_{т} (Х^{'} Х)^{- 1} Х_{т}^{'}}) \\ = (\frac{1}{1 - {год}_{т}}) (Х^{'} Х)^{- 1} Х_{т}^{'} . \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}X_t'&=(X'X)^{-1}X_t'+(X'X)^{-1}X_t'\left(\frac{X_t(X'X)^{-1}X_t'}{1-X_t(X'X)^{-1}X_t'}\right)\\ &=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'. \end{align*}$

Доказ (A) тепер випливає з (C): Оскільки нас є або Отже, , де остання рівність випливає з (С).

\begin{aligned} Х^{'} Х \hat{β} & = Х^{'} у, \end{aligned}

$\begin{align*} X'X\hat\beta&=X'y, \end{align*}$

\begin{aligned} (Х_{(т)}^{'} Х_{(т)} + Х_{т}^{'} Х_{т}) \hat{β} & = Х_{(т)}^{'} у_{(т)} + Х_{т}^{'} у_{т}, \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)}+X_t'X_t)\hat\beta &=X_{(t)}'y_{(t)}+X_t' y_t, \end{align*}$

\begin{aligned} {Я_{к} + (Х_{(т)}^{'} Х_{(т)})^{- 1} Х_{т}^{'} Х_{т}} \hat{β} & = {\hat{β}}_{(т)} + (Х_{(т)}^{'} Х_{(т)})^{- 1} Х_{т}^{'} (Х_{т} \hat{β} + {\hat{у}}_{т}) . \end{aligned}

$\begin{align*} \left\{I_k+(X_{(t)}'X_{(t)})^{-1}X_t'X_t\right\}\hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'(X_t\hat\beta+\hat u_t). \end{align*}$

\begin{aligned} \hat{β} & = {\hat{β}}_{(т)} + (Х_{(т)}^{'} Х_{(т)})^{- 1} Х_{т}^{'} {\hat{у}}_{т} \\ = {\hat{β}}_{(т)} + (Х^{'} Х)^{- 1} Х_{т}^{'} \frac{{\hat{у}}_{т}}{1 - {год}_{т}}, \end{aligned}

$\begin{align*} \hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'\hat u_t\\ &=\hat\beta_{(t)}+(X'X)^{-1}X_t'\frac{\hat u_t}{1-h_t}, \end{align*}$

Тепер зверніть увагу на . Помножте на (A) на , додайте з обох сторін і переставляйте, щоб отримати, з залишки, отримані в результаті використання ( ), або $h_t=X_t(X'X)^{-1}X_t'$ $X_t$ $y_t$ $\hat u_{(t)}$ $\hat\beta_{(t)}$ $y_t-X_t\hat\beta_{(t)}$

{\hat{у}}_{(т)} = {\hat{у}}_{т} + (\frac{{\hat{у}}_{т}}{1 - {год}_{т}}) {год}_{т}

$\hat u_{(t)}=\hat u_t+\left(\frac{\hat u_t}{1-h_t}\right)h_t$

{\hat{у}}_{(т)} = \frac{{\hat{у}}_{т} (1 - {год}_{т}) + {\hat{у}}_{т} {год}_{т}}{1 - {год}_{т}} = \frac{{\hat{у}}_{т}}{1 - {год}_{т}}

$\hat u_{(t)}=\frac{\hat u_t(1-h_t)+\hat u_th_t}{1-h_t}=\frac{\hat u_t}{1-h_t}$

— Крістоф Ганк
джерело

У вашій відповіді відсутнє визначення для . Я припускаю, що це матриця із вилученим рядком .

X_{(t)}

$X_{(t)}$

X

$X$

X_{t}

$X_t$

— mpiktas

Також згадується той факт, що також буде корисним.

X^{'} X = \sum_{t = 1}^{T} X_{t}^{'} X_{t}

$X'X=\sum_{t=1}^T X_t'X_t$

— mpiktas

@mpiktas, так, дякую за покажчики. Я відредагував, щоб взяти до уваги перший коментар. Де саме допомогла б друга? Або просто залишити це у вашому коментарі?

— Крістоф Ганк

Коли ви починаєте доказ (C), ви пишете . Це приємна хитрість, але я сумніваюся, що випадковий читач це усвідомлює.

(X_{(t)}^{'} X_{(t)})^{- 1} = (X^{'} X - X_{t}^{'} X_{t})^{- 1}

$(X_{(t)}'X_{(t)})^{-1}=(X'X-X_t'X_t)^{-1}$

— mpiktas

Через два роки ... Я ще більше оцінюю цю відповідь, коли я пройшов послідовність лінійних моделей на рівні випускників. Я перевчаю цей матеріал із новою перспективою. Чи є у вас які-небудь запропоновані посилання (підручники?), Які детально проходять виводи, як те, що ви маєте у цій відповіді?

— Кларнетист