Опущені змінні зміщення в логістичній регресії порівняно з опущеними змінними зміщеннями в звичайній регресії найменших квадратів

У мене є питання про опущені змінні зміщення в логістичній та лінійній регресії.

Скажімо, я опускаю деякі змінні з лінійної регресійної моделі. Прикиньте, що ці опущені змінні не співвідносяться зі змінними, які я включив у свою модель. Ці опущені змінні не зміщують коефіцієнтів у моїй моделі.

Але в рамках логістичної регресії я просто дізнався, що це неправда. Пропущені змінні зміщуватимуть коефіцієнти включених змінних, навіть якщо опущені змінні не співвідносяться із включеними змінними. Я знайшов статтю на цю тему, але не можу скласти ні голови, ні хвостів.

Ось папір та деякі слайди Powerpoint.

Вперед, мабуть, завжди до нуля. Хтось може пояснити, як це працює?

— ПлутатиЕконометрикуУнград
джерело

Чи знайомі ви з тим, як модель логістичної регресії виходить із основної лінійної регресійної моделі "прихованої змінної"?

— Алекос Пападопулос

@AlecosPapadopoulos Я ніколи не є. Яка страва?

— Олексій

Є й інші статті, які обговорюють це, але ту, з якою ви пов’язані, - це найпростіше, що я знаю. Тому я не думаю, що я можу вдосконалити це.

— Maarten Buis

Шановний пане Пападопулос: Я читав ідею про приховану змінну. Чому Ви запитуєте?

— ConfusedEconometricsUndergrad

@ Alexis Дивіться, наприклад, цю публікацію, stats.stackexchange.com/questions/80611/… та статтю у wikipedia, en.wikipedia.org/wiki/… . Цей підхід уточнює також, що саме припущення, яке ми робимо на основі помилки основної моделі, визначає, яку модель ми отримаємо на рівні ймовірностей. Для іншого прикладу, якщо припустити, що основна помилка слідує за рівномірною, отримуємо лінійну модель ймовірності, див., Stats.stackexchange.com/questions/81789

— Papadopoulos

Випадок "зміщення ослаблення" може бути більш чітко представлений, якщо ми вивчимо модель "пробіт", але результат також перейде до логістичної регресії.

Під моделями умовної ймовірності (логістичні (логіт), “пробіт” та “лінійна ймовірність”) ми можемо постулювати приховану (непомітну) лінійну регресійну модель:

y^{*} = X β + u

$y^* = X\beta + u$

де - суцільна непомітна змінна (а - матриця регресора). Припускається, що термін помилки не залежить від регресорів і слідкує за розподілом, який має симетричну навколо нуля щільність , а в нашому випадку - звичайне нормальне розподіл . $y^*$ $X$ $F_U(u)= \Phi(u)$

Ми припускаємо , що то , що ми спостерігаємо, тобто бінарна змінна є функцією Індикатор ненаблюдаемой : $y$ $y^*$

y = 1 if y^{*} > 0, y = 0 if y^{*} \leq 0

$y = 1 \;\;\text{if} \;\;y^*>0,\qquad y = 0 \;\;\text{if}\;\; y^*\le 0$

Тоді ми запитуємо "яка ймовірність того, що прийме значення задане регресорами?" (тобто ми дивимося на умовну ймовірність). Це $y$ $1$

P (y = 1 ∣ X) = P (y^{*} > 0 ∣ X) = P (X β + u > 0 ∣ X) = P (u > - X β ∣ X) = 1 - Φ (- Χ β) = Φ (X β)

$P(y =1\mid X ) = P(y^*>0\mid X) = P(X\beta + u>0\mid X) = P(u> - X\beta\mid X) \\= 1- \Phi (-Χ\beta) = \Phi (X\beta)$

остання рівність через "відбиваючу" властивість стандартної функції кумулятивного розподілу, яка походить від симетрії функції щільності навколо нуля. Зауважимо, що хоча ми припускали, що не залежить від , умова на потрібна для того, щоб розглянути величину як не випадкову. $u$ $X$ $X$ $X\beta$

Якщо припустити, що , то отримаємо теоретичну модель $X\beta = b_0+b_1X_1 + b_2X_2$

\begin{matrix} (1) & P (y = 1 ∣ X) = Φ (b_{0} + b_{1} X_{1} + b_{2} X_{2}) \end{matrix}

$P(y =1\mid X ) = \Phi (b_0+b_1X_1 + b_2X_2) \tag{1}$

Нехай тепер не залежить від і помилково виключається із специфікації основної регресії. Отже, уточнюємо $X_2$ $X_1$

Далі припустимо, що також є нормальною випадковою величиною . Але це означає, що це

y^{*} = b_{0} + b_{1} X_{1} + ϵ

$y^* = b_0+b_1X_1 + \epsilon$

X_{2}

$X_2$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_2 \sim N(\mu_2,\sigma_2^2)$

ϵ = u + b_{2} X_{2} \sim N (b_{2} μ_{2}, 1 + b_{2}^{2} σ_{2}^{2})

$\epsilon = u + b_2X_2 \sim N(b_2\mu_2, 1+b_2^2\sigma_2^2)$

через закриття-недоповнення нормального розподілу (і припущення про незалежність). Застосовуючи ту ж логіку, що і раніше, тут ми маємо

P (y = 1 ∣ X_{1}) = P (y^{*} > 0 ∣ X_{1}) = P (b_{0} + b_{1} X_{1} + ϵ > 0 ∣ X_{1}) = P (ϵ > - b_{0} - b_{1} X_{1} ∣ X_{1})

$P(y =1\mid X_1 ) = P(y^*>0\mid X_1) = P(b_0+b_1X_1 + \epsilon>0\mid X_1) = P(\epsilon> - b_0-b_1X_1\mid X_1)$

Стандартизація змінної нас $\epsilon$

P (y = 1 ∣ X_{1}) = 1 - P (\frac{ϵ - b_{2} μ_{2}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} \leq - \frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} - \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1} ∣ X_{1})

$P(y =1\mid X_1 )= 1- P\left(\frac{\epsilon-b_2\mu_2}{\sqrt {1+b_2^2\sigma_2^2}}\leq - \frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}- \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\mid X_1\right)$

\begin{matrix} (2) & \Rightarrow P (y = 1 ∣ X_{1}) = Φ (\frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} + \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1}) \end{matrix}

$\Rightarrow P(y =1\mid X_1) = \Phi\left(\frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}+ \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\right) \tag{2}$

$(1)$ $(2)$

Наведений вище теоретичний вираз говорить про те, де наша максимальна ймовірність $b_1$ збирається сходитись, оскільки вона залишається послідовною оцінкою, в тому сенсі, що вона сходиться до теоретичної величини, яка дійсно існує в моделі (і, звичайно, не в тому сенсі, що вона знайде "правду" в будь-якому випадку) :

{\hat{б}}_{1} \overset{p}{\to} \frac{б_{1}}{\sqrt{1 + б_{2}^{2} σ_{2}^{2}}} ⟹ | {\hat{б}}_{1} | < | б_{1} |

$\hat b_1 \xrightarrow{p} \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}} \implies |\hat b_1|< |b_1|$

що є результатом "упередженості до нуля".

Ми використовували модель probit, а не logit (логістична регресія), оскільки лише за нормальності ми можемо отримати розподіл $\epsilon$ . The logistic distribution is not closed under addition. This means that if we omit a relevant variable in logistic regression, we also create distributional misspecification, because the error term (that now includes the omitted variable) no longer follows a logistic distribution. But this does not change the bias result (see footnote 6 in the paper linked to by the OP).

— Alecos Papadopoulos
джерело