Чому лінійна регресія має припущення щодо залишкової, але узагальненої лінійної моделі, має припущення щодо реакції?

14

Чому лінійна регресія та узагальнена модель мають суперечливі припущення?

При лінійній регресії ми припускаємо, що залишковий приходить із форми Гаусса
В інших регресіях (логістична регресія, регресія отрути), ми припускаємо, що реакція надходить з деякого розподілу (біноміальний, отруєний тощо).

Чому іноді припускають залишковий, а інший час припускають відповідь? Це тому, що ми хочемо отримати різні властивості?

EDIT: Я думаю, що у шоу99999 дві форми рівні. Однак у мене є додаткові сумніви щодо Iid:

Інший мій питання: Чи є припущення про логістичну регресію? показує, що узагальнена лінійна модель не має iid припущення (незалежне, але не тотожне)

Це правда, що для лінійної регресії, якщо ми будемо ставити припущення щодо залишкового , у нас буде iid, але якщо ми будемо припускати відповідь , у нас будуть незалежні, але не однакові вибірки (різні гауссові з різними )? $\mu$

— Хайтао Ду
джерело

Дивіться також stats.stackexchange.com/questions/295340/…

— kjetil b halvorsen

12

Проста лінійна регресія з гауссовими помилками - дуже приємний атрибут, який не узагальнює генералізовані лінійні моделі.

У узагальнених лінійних моделях відповідь дотримується деякого заданого розподілу, заданого середнього значення . Лінійна регресія слідує цій схемі; якщо ми маємо

$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$

при $\epsilon_i \sim N(0, \sigma)$

то ми також маємо

$y_i \sim N(\beta_0 + \beta_1 x_i, \sigma)$

Гаразд, тому відповідь випливає із заданого розподілу для узагальнених лінійних моделей, але для лінійної регресії ми також маємо, що залишки слідують за Гауссовим розподілом. Чому підкреслюється, що залишки є нормальними, коли це не узагальнене правило? Ну, тому що це набагато корисніше правило. Приємна думка про нормальність залишків - це набагато простіше вивчити. Якщо відняти передбачувані засоби, всі залишки повинні мати приблизно однакову дисперсію і приблизно однакове середнє значення (0) і будуть приблизно розподілені (зверніть увагу: я кажу "приблизно", тому що якщо ми не маємо досконалих оцінок параметри регресії, яких, звичайно, ми не робимо, дисперсія оцінок $\epsilon_i$ матимуть різні відхилення на основі діапазонів . Але, сподіваємось, достатньо точності в оцінках, що це нехтування!). $x$

З іншого боку, дивлячись на невідрегульований 's, ми не можемо реально сказати, чи нормальні вони, якщо всі вони мають різні засоби. Наприклад, розглянемо таку модель: $y_i$

$y_i = 0 + 2 \times x_i + \epsilon_i$

при і $\epsilon_i \sim N(0, 0.2)$ $x_i \sim \text{Bernoulli}(p = 0.5)$

Тоді буде сильно бимодальним, але не порушує припущень лінійної регресії! З іншого боку, залишки будуть дотримуватися приблизно нормального розподілу. $y_i$

Ось кілька Rкод для ілюстрації.

x <- rbinom(1000, size = 1, prob = 0.5)
y <- 2 * x + rnorm(1000, sd = 0.2)
fit <- lm(y ~ x)
resids <- residuals(fit)
par(mfrow = c(1,2))
hist(y, main = 'Distribution of Responses')
hist(resids, main = 'Distribution of Residuals')

— Кліф АВ
джерело

y_{i} = 1 + 2 \times x_{i} + ϵ_{i}

$y_i = 1 + 2 \times x_i + \epsilon_i$

3

@ hxd1011: так, це різниця між граничним розподілом (явно не нормальним) і умовним розподілом, заданим x (ми знаємо, що це нормально, оскільки ми імітували його!). Не думати про різницю між умовними та граничними розподілами - надзвичайно поширена помилка.

— Кліф АВ

14

$i = 1, \ldots, n$

Y_{i} = β_{0} + β_{1} X_{i 1} + \dots + β_{k} X_{i k} + ϵ_{i},

$Y_i = \beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik} + \epsilon_i,$

ϵ_{i}

$\epsilon_i$

σ^{2}

$\sigma^2$

X_{i 1}, \dots, X_{i k}

$X_{i1}, \ldots, X_{ik}$

Y_{i}

$Y_i$

β_{0} + β_{1} X_{i 1} + \dots + β_{k} X_{i k}

$\beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik}$

σ^{2}

$\sigma^2$

$X_{i1}, \ldots, X_{ik}$ $\beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik}$

Звичайна модель множинної лінійної регресії з нормальними помилками є узагальненою лінійною моделлю з нормальним зв'язком реакції та ідентичності.

— марка999
джерело