Чому кореляція залишків не має значення при тестуванні на нормальність?

Коли (тобто походить від лінійної регресійної моделі), і в цьому випадку залишки співвідносні і не є незалежними. Але коли ми робимо регресійну діагностику і хочемо перевірити припущення , кожен підручник пропонує використовувати графіки Q – Q та статистичні тести на залишки які були розроблені для перевірки, чи для деяких . $Y = AX + \varepsilon$ $Y$

ε \sim N (0, σ^{2} I) \Rightarrow \hat{e} = (I - H) Y \sim N (0, (I - H) σ_{}^{2})

$\varepsilon \sim \mathcal{N}(0, \sigma^2 I) \hspace{1em} \Rightarrow \hspace{1em} \hat{e} = (I - H) Y \sim \mathcal{N}(0, (I - H) \sigma^2_{})$

{\hat{e}}_{1}, \dots, {\hat{e}}_{n}

$\hat{e}_1, \ldots, \hat{e}_n$

ε \sim N (0, σ^{2} I)

$\varepsilon \sim \mathcal{N}(0, \sigma^2 I)$

\hat{e}

$\hat{e}$

\hat{e} \sim N (0, σ^{2} I)

$\hat{e} \sim \mathcal{N}(0, \sigma^2 I)$

σ^{2} \in R

$\sigma^2 \in \mathbb{R}$

Чому для цих тестів не має значення, що залишки співвідносяться і не є незалежними? Часто пропонується використовувати стандартизовані залишки: але це лише робить їх однорідними, а не незалежними.

{\hat{e}}_{i}^{'} = \frac{{\hat{e}}_{i}}{\sqrt{1 - h_{i i}}},

$\hat{e}_i' = \frac{\hat{e}_i}{\sqrt{1 - h_{ii}}},$

Для переформулювання питання: Залишки від регресії OLS співвідносяться. Я розумію, що на практиці ці кореляції настільки малі (більшість часу? Завжди?), Що їх можна ігнорувати, перевіряючи, чи залишилися залишки від нормального розповсюдження. Моє питання: чому?

regression residuals non-independent

— Зоран Лонкаревич
джерело

Робить їх однорідними.

— Scortchi

Ви запитуєте про застосовність цих тестів, коли залишки мають сильні кореляції чи вас просто турбує (дуже незначна та невпливова) негативна кореляція, що виникає в результаті процедури оцінки найменших квадратів?

— whuber

@whuber Я запитую про співвідношення, що виникає в результаті процедури оцінки найменших квадратів. Якщо вони незначні та несуттєві, я хотів би знати чому.

— Зоран Лонкаревич

У вашому позначенні - проекція - це стовпчастий простір , тобто підпростір, що охоплює всі регресори. Тому - це проекція на все, ортогональне на підпростір, що охоплюється всіми регресорами. $H$ $X$ $M:=I_{n}-H$

Якщо , то сингулярно нормально розподіляється і елементи співвідносяться, як ви заявляєте. $X\in\mathbb{R}^{n\times k}$ $\hat{e}\in\mathbb{R}^{n}$

Помилки є неочевидними і в загальному випадку НЕ ортогональні підпростори , натягнутого на . Для аргументу припустимо, що помилка . Якби це було правдою, ми мали б з . Оскільки , ми можемо розкласти та отримати справжній . $\varepsilon$ $X$ $\varepsilon\perp\operatorname{span}\left(X\right)$ $y=X\beta+\varepsilon=\tilde{y}+\varepsilon$ $\tilde{y}\perp\varepsilon$ $\tilde{y}=X\beta\in\operatorname{span}\left(X\right)$ $y$ $\varepsilon$

Припустимо , ми маємо базис з , де перший базисний вектор оболонка підпростір та решта span . Загалом, помилка матиме ненульові компоненти для . Цей ненульовий компонент буде змішуватися з і тому не може бути відновлений проекцією на . $b_{1},\ldots,b_{n}$ $\mathbb{R}^{n}$ $b_{1},\ldots,b_{k}$ $\operatorname{span}\left(X\right)$ $b_{k+1},\ldots,b_{n}$ $\operatorname{span}\left(X\right)^{\perp}$ $\varepsilon=\alpha_{1}b_{1}+\ldots+\alpha_{n}b_{n}$ $\alpha_{i}$ $i\in\left\{1,\ldots,k\right\}$ $X\beta$ $\operatorname{span}\left(X\right)$

Оскільки ми ніколи не можемо сподіватися відновити справжні помилки та співвіднесені сингулярним розмірним нормальним, ми можемо перетворити . Там ми можемо мати, що тобто - несингулярний некоррельований і гомоскедастичний нормальний розподілений. Нев'язки називаються BLUS залишки Theil в . $\varepsilon$ $\hat{e}$ $n$ $\hat{e}\in\mathbb{R}^{n}\mapsto e^{*}\in\mathbb{R}^{n-k}$

e^{*} \sim N_{n - k} (0, σ^{2} I_{n - k}),

$\begin{equation} e^{*}\sim\mathcal{N}_{n-k}\left(0,\sigma^{2}I_{n-k}\right) \textrm{,} \end{equation}$

e^{*}

$e^{*}$

e^{*}

$e^{*}$

У короткому документі Про тестування регресійних порушень нормальності ви знайдете порівняння залишків OLS та BLUS. У тестованому режимі Монте-Карло залишки OLS перевершують залишки BLUS. Але це повинно дати вам певну відправну точку.

— Марко Брейтіг
джерело