Розподіл помилок для лінійної та логістичної регресії

При безперервних даних лінійна регресія передбачає, що термін помилки розподіляється N (0, ) $Y=\beta_1+\beta_2X_2+u$ $\sigma^2$

1) Чи вважаємо ми, що Var (Y | x) аналогічно ~ N (0, )? $\sigma^2$

2) Що таке розподіл помилок при логістичній регресії? Коли дані є у формі 1 запису на випадок, де "Y" дорівнює 1 або 0, це термін помилки, розподілений Бернуллі (тобто дисперсія дорівнює p (1-p))), і коли дані є у формі # успіхи з #of випробувань, чи вважається двочленним (тобто дисперсія - np (1-p)), де p - ймовірність того, що Y дорівнює 1?

logistic generalized-linear-model

— B_Miner
джерело

Ви не надто точні. Припущення моделі полягає в тому, що умови помилки незалежні і однаково розподілені з розподілом, який дорівнює N (0, σ ) і не має відношення до COVARIATE. Що таке Var (Y | x)? Ви кондиціонуєтесь на X = x? Чи вважає модель, що коваріат якимось випадковим чином, або ми вважаємо, що коваріат фіксується відповідно до матриці проектування? Я думаю, що це останнє, і тому Var (Y | X = x) має на увазі припущення, і його не потрібно вважати.

^{2}

$^2$

_{2}

$_2$

_{2}

$_2$

— Майкл Р. Черник

@MichaelChernick Чому модель передбачає, що виправлено? Це, безумовно, може бути виправданим, але може бути і випадковим. Ніщо в питанні не означає жодного для мене.

X_{2}

$X_2$

— Пітер Флом

@PeterFlom Я читав у запитанні, що лінійна регресія з таким припущенням розподілу помилок означала OLS, що вимагає виправлення та відомості X . Якщо у когось є регресія Демінга (тобто помилка регресії змінних), це буде вказано у запитанні. Дивлячись на відповідь, яку Дав Стат, вказує, що він так і інтерпретував питання.

_{2}

$_2$

— Майкл Р. Черник

@Michael, я припускав, що виправлено X.

— B_Miner

1) Якщо $u$ має нормальний розподіл, тобто тоді , оскільки не є випадковим змінна. $N(0,σ^2)$ $Var(Y|X_2)=Var(β_1+β_2X_2)+Var(u)=0+σ^2=σ^2$ $β_1+β_2X_2$

2) У логістичній регресії передбачається, що помилки слідують за біноміальним розподілом, як згадується тут . Краще записати його як , оскільки ці ймовірності залежать від , на яку посилається тут або в Прикладній логістичній регресії . $Var(Y_j|X_j)=m_j.E[Y_j|X_j].(1-E[Y_j|X_j])=m_j\pi(X_j).(1-\pi(X_j))$ $X_j$

— Стат
джерело

Stat, Отже, правильно сказати, що дисперсія для i-ї індивідуальної помилки, , є (1- ), що еквівалентно тому, що ви показали, припускаючи, що в даних більше одного спостереження з тим же коваріатом шаблон (тобто = 1 для всіх j)?

e_{i}

$e_i$

p_{i}

$p_i$

p_{i}

$p_i$

m_{j}

$m_j$

— B_Miner

Так, це правильно. Якщо з , то з ймовірністю або з вірогідністю . Отже, має розподіл із середнім та дисперсією, рівним .

Y_{i} = p_{i} + e_{i}

$Y_i=p_i+e_i$

P (Y_{i} = 1) = 1 - P (Y_{i} = 0) = p_{i}

$P(Y_i=1)=1-P(Y_i=0)=p_i$

e_{i} = 1 - p_{i}

$e_i=1-p_i$

p_{i}

$p_i$

e_{i} = - p_{i}

$e_i=-p_i$

1 - p_{i}

$1-p_i$

e_{i}

$e_i$

0

$0$

p_{i} (1 - p_{i})

$p_i(1-p_i)$

— Стат.

Одним додатковим моментом тут, Стати, ми повинні припустити, що X є фіксованими, не випадковими для Var (Y | X) = Var (e), як для випадків лінійної, так і для логістичної регресії правильною?

— B_Miner

NB з ймовірністю або з ймовірністю це НЕ біноміальний розподіл для .

e_{i} = 1 - p_{i}

$e_i=1−p_i$

p_{i}

$p_i$

e_{i} = - p_{i}

$e_i=−p_i$

1 - p_{i}

$1−p_i$

e_{i}

$e_i$

— Scortchi

B_Miner: ім'я ім'я означає дисперсію умовну для випадкової величини , яка приймає спостережуване значення . Тож неважливо, чи ваші прогнози фіксуються експериментом чи спостерігаються у вибірці: те, що стверджує @ Stat, - це те, що вони більше не розглядаються як випадкові величини для регресії.

Var (Y | X) = Var (Y | X = x)

$\operatorname{Var}(Y|X)=\operatorname{Var}(Y|X=x)$

Y

$Y$

X

$X$

x

$x$

— Scortchi