Припущення щодо регресійного залишкового розподілу

12

Чому необхідно розміщувати припущення про розподіл на помилках, тобто

$y_i = X\beta + \epsilon_{i}$ , при $\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2})$ .

Чому б не написати

$y_i = X\beta + \epsilon_{i}$ з $y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2})$ ,

де в будь-якому випадку $\epsilon_i = y_i - \hat{y}$ .
Я бачив, як підкреслювалося, що припущення щодо поширення розміщуються на помилках, а не на даних, але без пояснень.

Я не дуже розумію різницю між цими двома рецептурами. У деяких місцях я бачу, що припущення щодо розподілу розміщуються на даних (байєсівська освітленість, здається, в основному), але в більшості випадків припущення розміщуються на помилках.

При моделюванні, чому б / слід вибрати для початку припущення про те чи інше?

— рахунок_е
джерело

По-перше, це не "потрібно", це залежить, що ви маєте намір робити. Є кілька хороших відповідей, але я думаю, що суть є основним припущенням причинності, в сенсі Xs "викликає" y, і якщо ви дивитесь на це таким чином, ви бачите, що розподіл y "викликається" розподіл резус, що означає Xs та помилки (якщо такі є). Можна робити велику економетрику з дуже обмеженими припущеннями щодо розподілу і, зокрема, без нормальності. Дякую, Боже.

— PatrickT

3

НЕ

, а середнє населення

«S не збігається з оцінкою зразка цього. Який повинен сказатищо друга річнасправді не те ж саме, що і перший, але якщо ви заміните його з очікуванням (

), то два будуть еквівалентні.

\hat{y}

$\hat y$

X β

$X\beta$

y

$y$

E (\hat{y}) = E (y) = X β

$E(\hat y) = E(y) = X\beta$

— Glen_b -Встановити Моніку

Що

? І якщо

змінюється в залежності від

, чому

змінюється? Будь ласка, придумайте, які позначення ви хочете використовувати, вектор чи матрицю. Тепер , якщо ми припустимо , що

ваші позначення більш Bizzare:

\hat{y}

$\hat{y}$

y_{i}

$y_i$

i

$i$

X β

$X\beta$

\hat{y} = X \hat{β}

$\hat{y}=X\hat\beta$

y_{i} \sim N (x_{i}^{'} (\sum x_{j} x_{j}^{'})^{- 1} \sum x_{j} y_{j}, σ^{2})

$y_i\sim N(x_i'(\sum x_jx_j')^{-1}\sum x_jy_j,\sigma^2)$ , тобто ви визначаєте розподіл

з точки зору самого себе та всіх інших спостережень

!

y_{i}

$y_i$

y_{j}

$y_j$

— mpiktas

1

Я спростував це питання, тому що вважаю, що позначення є заплутаними, і це вже призвело до декількох тонко суперечливих відповідей.

— mpiktas

9

У налаштуваннях лінійної регресії прийнято робити аналіз і отримувати результати, що обумовлюються , тобто умовними "даними". Таким чином, то , що вам потрібно , що нормально, тобто, що вам потрібно & бути нормальним. Як показано на прикладі Пітера Флома, можна мати нормальність не маючи нормальності , і, отже, оскільки те, що вам потрібно, це нормальність , це розумне припущення. $X$ $y\mid X$ $\epsilon$ $\epsilon$ $y$ $\epsilon$

— еквалл
джерело

9

Я би написав друге визначення як

$y_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

або (як пропонує Карл Оскар +1)

$y_i|X_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

$\sigma^2$ $y_i$ $X_i$

$\epsilon_i$ $\hat{y}$

— Дікран Марсупіал
джерело

3

Різницю найлегше проілюструвати на прикладі. Ось простий:

Припустимо, Y є бімодальним, при цьому модальність враховується незалежною змінною. Наприклад, Y - це зріст, і ваш зразок (з будь-якої причини) складається з жокеїв та баскетболістів. наприклад вR

set.seed(123)
tall <- rnorm(100, 78, 3)
short <- rnorm(100, 60, 3)

height <- c(tall, short)
sport <- c(rep("B", 100), rep("H",100))

plot(density(height))

m1 <- lm(height~sport)
plot(m1)

перша щільність дуже ненормальна. Але залишки від моделі надзвичайно близькі до норми.

Щодо того, чому обмеження розміщені таким чином - я дозволю комусь іншому відповісти на це.

— Пітер Флом - Відновити Моніку
джерело

1

y_{i}

$y_i$

ϵ_{i}

$\epsilon_i$

У такому випадку гетероскедастичність буде проблемою, і вам потрібно буде використовувати якусь іншу форму регресії, або, можливо, якусь трансформацію, або ви можете додати іншу змінну (у цьому дурному прикладі позиція, яка грається в баскетболі, може це зробити).

— Пітер Флом - Відновіть Моніку

Я не впевнений, що формулювання має на меті припустити, що ys нормально розподілені, тільки що вони мають нормальний умовний розподіл.

— Дікран Марсупіал

2

y_{i} \sim N ({\hat{y}}_{i}, σ_{ε}^{2})

$y_i\sim\mathcal N(\hat y_i,\sigma^2_\varepsilon)$

\hat{y}

$\hat y$

x_{i}

$\bf x_i$

$\hat y_i$ $\bf x_i\boldsymbol{\hat\beta}$

y_{i} \sim N (x_{i} \hat{β}, σ_{ε}^{2})

$y_i\sim\mathcal N({\bf x_i}\boldsymbol{\hat\beta},\sigma^2_\varepsilon)$

\begin{aligned} E [x_{i} \hat{β}] & = E [x_{i} \hat{β} + E [N (0, σ_{ε}^{2})]] \\ = E [x_{i} \hat{β} + 0] \\ = E [x_{i} \hat{β}] \end{aligned}

$\begin{align} E[{\bf x_i}\boldsymbol{\hat\beta}] &= E[{\bf x_i}\boldsymbol{\hat\beta} + E[\mathcal N(0, \sigma^2_\varepsilon)]] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta} + 0] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta}] \end{align}$ (І очевидно, що відхилення рівні.) Іншими словами, це не різниця в припущеннях, а просто нотаційна різниця.

Тож виникає питання, чи є причина віддати перевагу презентації ідеї за допомогою першої рецептури?

Я думаю, що відповідь " так" з двох причин:

Люди часто плутають, чи слід нормально поширювати необроблені дані (тобто ), чи дані, що залежать від /, помилки мають бути нормально розповсюджені (тобто / ), наприклад, див. : Що робити, якщо залишки зазвичай розподіляються, але у ні? $Y$ $\bf X$ $Y|\bf X$ $\varepsilon$
Люди також часто плутають те, що повинно бути незалежним, необроблені дані або помилки. Більше того, ми часто згадуємо той факт, що щось має бути ідентичним (незалежним і однаково розподіленим); якщо ви думаєте з точки зору це може бути ще одним потенційним джерелом плутанини, оскільки може бути незалежним, але не може бути ідентично розподіленим, якщо не дотримується нульової гіпотези (тому що середнє значення буде різним). $Y|\bf X$ $Y|\bf X$

Я вважаю, що ці плутанини скоріше використовують другий склад, ніж перший.

— gung - Відновити Моніку
джерело

1

@Glen_b, я не стежу за вашим коментарем. Моє твердження не в тому, що дорівнює , а в тому, що дорівнює . Підписане індексація спостережень є релевантним. Ідея полягає в тому, що передбачуване значення для даного спостереження є . Це не має нічого спільного з значенням серед населення . (Здається, я забув додати капелюхи до бета-версій; хоча це я вже виправив.)

\hat{y}

$\hat y$

X β

$X\beta$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

_{i}

$_i$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

Y

$Y$

— gung - Відновити Моніку

@Glen_b якби зразок означав, що це буде а не . Я спочатку вважав, що позначення також заплутане, але той факт, що випливає з тверджень, що і . Щоб обидва ці речі були правдивими, може бути лише .

\bar{y}

$\bar{y}$

\hat{y}

$\hat{y}$

\hat{y} = X β

$\hat{y} = X\beta$

y_{i} = X β + ϵ_{i}

$y_i = X\beta + \epsilon_i$

ϵ_{i} = y_{i} - \hat{y}

$\epsilon_i = y_i - \hat{y}$

\hat{y}

$\hat{y}$

X β

$X\beta$

— Дікран Марсупіал