Оцінка коефіцієнтів логістичної регресії в проекті контрольного випадку, коли змінна результат не є випадком / контрольним статусом

Розглянемо вибіркові дані з популяції розміром таким чином: Для $N$ $k=1, ..., N$

Слідкуйте за статусом "хвороби" окремих $k$
Якщо у них захворювання, включіть їх до вибірки з імовірністю $p_{k1}$
Якщо у них немає захворювання, включіть їх з вірогідністю . $p_{k0}$

Припустимо, ви спостерігали змінну двійкового результату та вектор , для суб'єктів, вибірених таким чином. Змінна результат не є статусом "захворювання". Я хочу оцінити параметри моделі логістичної регресії: $Y_i$ ${\bf X}_i$ $i=1, ..., n$

\log (\frac{P (Y_{i} = 1 | X_{i})}{P (Y_{i} = 0 | X_{i})}) = α + X_{i} β

$\log \left( \frac{ P(Y_i = 1 | {\bf X}_i) }{ P(Y_i = 0 | {\bf X}_i) } \right) = \alpha + {\bf X}_i {\boldsymbol \beta}$

Мене все цікавить - коефіцієнт шансів (log), ${\boldsymbol \beta}$ . Перехоплення для мене не має значення.

Моє запитання: чи можу я отримати розумні оцінки ${\boldsymbol \beta}$ , ігноруючи ймовірності вибірки $\{ p_{i1}, p_{i0} \}$ , $i=1, ..., n$ та встановивши модель так, ніби це була звичайна випадкова вибірка?

Я майже впевнений, що відповідь на це питання "так". Я шукаю - це посилання, яке підтверджує це.

Є дві основні причини, щодо яких я впевнений у відповіді:

Я робив багато симуляційних досліджень, і жодне з них не суперечить цьому, і
Нескладно показати, що якщо популяція регулюється вищевказаною моделлю, то модель, що регулює вибіркові дані, є

\log (\frac{P (Y_{i} = 1 | X_{i})}{P (Y_{i} = 0 | X_{i})}) = \log (p_{i 1}) - \log (p_{i 0}) + α + X_{i} β

$\log \left( \frac{ P(Y_i = 1 | {\bf X}_i) }{ P(Y_i = 0 | {\bf X}_i) } \right) = \log(p_{i1}) - \log(p_{i0}) + \alpha + {\bf X}_i {\boldsymbol \beta}$

Якщо ймовірність вибірки не залежала від , то це означало б простий перехід до перехоплення, і точкова оцінка явно не вплинула б. Але, якщо компенсації відрізняються для кожної людини, ця логіка не застосовується, оскільки ви неодмінно отримаєте іншу бальну оцінку, хоча я підозрюю, що щось подібне робить. $i$ ${\boldsymbol \beta}$

Пов’язано: Класична праця Prentice and Pyke (1979) говорить про те, що коефіцієнти логістичної регресії при контролі випадків (зі статусом захворювання як результат) мають таке ж розподіл, як і дані, зібрані в результаті перспективного дослідження. Я підозрюю, що цей самий результат буде застосований і тут, але, маю визнати, я не повністю розумію кожну частину документа.

Заздалегідь дякую за будь-які коментарі / посилання.

logistic case-control-study

— Макрос
джерело

Ви заявляєте, що "змінна результат не є статусом захворювання ". Що означає ? Ласкаво просимо до CV, btw.

Y_{i} = 1

$Y_i=1$

— gung - Відновіть Моніку

Y_{i}

$Y_i$ - інша змінна. Що я маю на увазі, це те, що змінна, яка диктує вашу ймовірність вибірки (зазвичай стан захворювання в контролі випадків), не є такою ж, як змінна результат - подумайте вторинний аналіз набору даних. Наприклад, скажімо, зразок був сформований систематизованим відбором споживачів наркотиків та додатковим набором (співвідношення частоти, певні коваріати) для користувачів, які не вживають наркотики, але змінна результат, яку ви вивчаєте, - це інше вимірювання поведінки. У цьому випадку схема вибірки є неприємністю. Спасибі, btw!

— Макрос

Це варіація моделі відбору в економетриці. Обґрунтованість оцінок з використанням лише вибраного зразка тут залежить від умови, що . Тут є «S статус захворювання. $\Pr\left(Y_{i}=1\mid X_{i},D_{i}=1\right)=\Pr\left(Y_{i}=1\mid X_{i},D_{i}=0\right)$ $D_i$ $i$

Щоб отримати детальнішу інформацію, визначте такі позначення: і ; посилається на те, що є у вибірці. Більше того, припустимо, що не залежить від для простоти. $\pi_{1}=\Pr\left(D_{i}=1\right)$ $\pi_{0}=\Pr\left(D_{i}=0\right)$ $S_{i}=1$ $i$ $D_{i}$ $X_{i}$

Ймовірність для одиниці у вибірці становить за законом повторених очікувань. Припустимо, що залежить від стану хвороби та інших коваріатів , результат не залежить від . В результаті, $Y_{i}=1$ $i$

\begin{array}{rcl} Pr (Y_{i} = 1 ∣ X_{i}, S_{i} = 1) & = & E (Y_{i} ∣ X_{i}, S_{i} = 1) \\ = & E {E (Y_{i} ∣ X_{i}, D_{i}, S_{i} = 1) ∣ X_{i}, S_{i} = 1} \\ = & Pr (D_{i} = 1 ∣ S_{i} = 1) Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 1, S_{i} = 1) + \\ Pr (D_{i} = 0 ∣ S_{i} = 1) Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 0, S_{i} = 1), \end{array}

$\begin{eqnarray*} \Pr\left(Y_{i}=1\mid X_{i},S_{i}=1\right) & = & \mathrm{{E}}\left(Y_{i}\mid X_{i},S_{i}=1\right)\\ & = & \mathrm{{E}}\left\{ \mathrm{{E}}\left(Y_{i}\mid X_{i},D_{i},S_{i}=1\right)\mid X_{i},S_{i}=1\right\} \\ & = & \Pr\left(D_{i}=1\mid S_{i}=1\right)\Pr\left(Y_{i}=1\mid X_{i},D_{i}=1,S_{i}=1\right)+\\ & & \Pr\left(D_{i}=0\mid S_{i}=1\right)\Pr\left(Y_{i}=1\mid X_{i},D_{i}=0,S_{i}=1\right), \end{eqnarray*}$

D_{i}

$D_{i}$

X_{i}

$X_{i}$

Y_{i}

$Y_{i}$

S_{i}

$S_{i}$

\begin{array}{rcl} Pr (Y_{i} = 1 ∣ X_{i}, S_{i} = 1) & = & Pr (D_{i} = 1 ∣ S_{i} = 1) Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 1) + \\ Pr (D_{i} = 0 ∣ S_{i} = 1) Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 0) . \end{array}

$\begin{eqnarray*} \Pr\left(Y_{i}=1\mid X_{i},S_{i}=1\right) & = & \Pr\left(D_{i}=1\mid S_{i}=1\right)\Pr\left(Y_{i}=1\mid X_{i},D_{i}=1\right)+\\ & & \Pr\left(D_{i}=0\mid S_{i}=1\right)\Pr\left(Y_{i}=1\mid X_{i},D_{i}=0\right). \end{eqnarray*}$ Легко побачити, що Тут і такі, як визначено вашою схемою вибірки. Таким чином,

Pr (D_{i} = 1 ∣ S_{i} = 1) = \frac{π_{1} p_{i 1}}{π_{1} p_{i 1} + π_{0} p_{i 0}} and Pr (D_{i} = 0 ∣ S_{i} = 1) = \frac{π_{0} p_{i 0}}{π_{1} p_{i 1} + π_{0} p_{i 0}} .

$\Pr\left(D_{i}=1\mid S_{i}=1\right)=\frac{\pi_{1}p_{i1}}{\pi_{1}p_{i1}+\pi_{0}p_{i0}}\mbox{ and }\Pr\left(D_{i}=0\mid S_{i}=1\right)=\frac{\pi_{0}p_{i0}}{\pi_{1}p_{i1}+\pi_{0}p_{i0}}.$

p_{i 1}

$p_{i1}$

p_{i 0}

$p_{i0}$

Pr (Y_{i} = 1 ∣ X_{i}, S_{i} = 1) = \frac{π_{1} p_{i 1}}{π_{1} p_{i 1} + π_{0} p_{i 0}} Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 1) + \frac{π_{0} p_{i 0}}{π_{1} p_{i 1} + π_{0} p_{i 0}} Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 0) .

$\Pr\left(Y_{i}=1\mid X_{i},S_{i}=1\right)=\frac{\pi_{1}p_{i1}}{\pi_{1}p_{i1}+\pi_{0}p_{i0}}\Pr\left(Y_{i}=1\mid X_{i},D_{i}=1\right)+\frac{\pi_{0}p_{i0}}{\pi_{1}p_{i1}+\pi_{0}p_{i0}}\Pr\left(Y_{i}=1\mid X_{i},D_{i}=0\right).$ Якщо , у нас є і ви можете опустити проблему з вибором вибірки. З іншого боку, якщо , загалом. Як окремий випадок, розглянемо модель logit,

Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 1) = Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 0)

$\Pr\left(Y_{i}=1\mid X_{i},D_{i}=1\right)=\Pr\left(Y_{i}=1\mid X_{i},D_{i}=0\right)$

Pr (Y_{i} = 1 ∣ X_{i}, S_{i} = 1) = Pr (Y_{i} = 1 ∣ X_{i}),

$\Pr\left(Y_{i}=1\mid X_{i},S_{i}=1\right)=\Pr\left(Y_{i}=1\mid X_{i}\right),$

Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 1) \neq Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 0)

$\Pr\left(Y_{i}=1\mid X_{i},D_{i}=1\right)\neq\Pr\left(Y_{i}=1\mid X_{i},D_{i}=0\right)$

Pr (Y_{i} = 1 ∣ X_{i}, S_{i} = 1) \neq Pr (Y_{i} = 1 ∣ X_{i})

$\Pr\left(Y_{i}=1\mid X_{i},S_{i}=1\right)\neq\Pr\left(Y_{i}=1\mid X_{i}\right)$

Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 1) = \frac{e^{X_{i}^{'} α}}{1 + e^{X_{i}^{'} α}} and Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 0) = \frac{e^{X_{i}^{'} β}}{1 + e^{X_{i}^{'} β}} .

$\Pr\left(Y_{i}=1\mid X_{i},D_{i}=1\right)=\frac{e^{X_{i}'\alpha}}{1+e^{X_{i}'\alpha}}\mbox{ and }\Pr\left(Y_{i}=1\mid X_{i},D_{i}=0\right)=\frac{e^{X_{i}'\beta}}{1+e^{X_{i}'\beta}}.$ Навіть коли і постійні через , отриманий розподіл не утримуватиме формування logit. Що ще важливіше, інтепретація параметрів була б абсолютно різною. Сподіваємось, наведені вище аргументи допоможуть трохи прояснити вашу проблему.

p_{i 1}

$p_{i1}$

p_{i 0}

$p_{i0}$

i

$i$

Спокуса включити як додаткову пояснювальну змінну та оцінити модель на основі . Для обґрунтування обґрунтованості використання нам потрібно довести, що , що еквівалентно умові, що є достатньою статистикою для . Без додаткової інформації про ваш процес відбору проб я не впевнений, чи правда це. Скористаємось абстрактним позначенням. Змінна спостережливості може розглядатися як випадкова функція та інших випадкових змінних, скажімо $D_{i}$ $\Pr\left(Y_{i}\mid X_{i},D_{i}\right)$ $\Pr\left(Y_{i}\mid X_{i},D_{i}\right)$ $\Pr\left(Y_{i}\mid X_{i},D_{i},S_{i}=1\right)=\Pr\left(Y_{i}\mid X_{i},D_{i}\right)$ $D_{i}$ $S_{i}$ $S_{i}$ $D_{i}$ $\mathbf{Z}_{i}$ . Позначимо . Якщо не залежить від обумовлено і , у нас є за визначенням незалежності. Однак якщо не залежить від після кондиціонування на та , інтуїтивно містить деяку релевантну інформацію про , і взагалі цього не передбачається $S_{i}=S\left(D_{i},\mathbf{Z}_{i}\right)$ $\mathbf{Z}_{i}$ $Y_{i}$ $X_{i}$ $D_{i}$ $\Pr\left(Y_{i}\mid X_{i},D_{i},S\left(D_{i},\mathbf{Z}_{i}\right)\right)=\Pr\left(Y_{i}\mid X_{i},D_{i}\right)$ $\mathbf{Z}_{i}$ $Y_{i}$ $X_{i}$ $D_{i}$ $\mathbf{Z}_{i}$ $Y_{i}$ $\Pr\left(Y_{i}\mid X_{i},D_{i},S\left(D_{i},\mathbf{Z}_{i}\right)\right)=\Pr\left(Y_{i}\mid X_{i},D_{i}\right)$ . Таким чином, у випадку "проте" невідомість вибору вибірки може бути оманливим для висновку. Я не дуже знайомий з вибірковою літературою з вибору з економетрики. Я рекомендую Розділ 16 Microeconometrics: methods and applications' by Cameron and Trivedi (especially the Roy model in that chapter). Also G. S. Maddala's classic bookОбмежених залежних та якісних змінних в економетриці "- це систематичне лікування питань щодо вибору вибірки та дискретних результатів.

— напівсировина
джерело

Дякую. Це чудова відповідь і має ідеальний сенс. У моєму додатку припущення, що не є реалістичним. Але було б так само добре додати як предиктор і врахувати розподіл . Використовуючи подібне виведення, я думаю, ви можете показати, що якщо , то ви все добре. Це розумне припущення в моєму випадку. Як ти гадаєш? До речі, у вас трапляються посилання, які згадують про цю проблему? Я не знайомий з економетричною літературою.

P (Y_{i} | X_{i}, D_{i} = 1) = P (Y_{i} | X_{i}, D_{i} = 0)

$P(Y_i|X_i,D_i=1)=P(Y_i|X_i,D_i=0)$

D_{i}

$D_i$

P (Y_{i} | X_{i}, D_{i})

$P(Y_i|X_i,D_i)$

P (Y_{i} = 1 | X_{i}, D_{i}, S_{i} = 1) = P (Y_{i} = 1 | X_{i}, D_{i}, S_{i} = 0)

$P(Y_i=1|X_i,D_i,S_i=1)=P(Y_i=1|X_i,D_i,S_i=0)$

— Макрос

Мені подобається думати про процес відбору як пробу в Бернуллі, тобто За цим припущенням, що генерує дані, ця проба Бернуллі умовно не залежить від , тому я думаю, що ми добре. Я ціную ваші зусилля та розуміння цієї проблеми і приймаю відповідь. Якщо припустити, що ніхто не приходить разом із точним посиланням, яке я шукаю (я скоріше зміг би просто "цитувати" цю проблему, а не відступати від розширеного обговорення), я також нагороджу вас винагородою. Ура.

S_{i} | D_{i} = d, X_{i} = x \sim B e r n o u l l i (p (x, d))

$S_i | D_i=d, X_i=x \sim {\rm Bernoulli} \big( p(x, d) \big)$

Y_{i}

$Y_i$

— Макрос

Цей процес відбору відповідає вашій стратегії. Виходячи з такої проблеми з вибором, ваша проблема стає прикладом випадкового відсутності (MAR) у літературі про відсутні дані. Дякуємо за вашу нагороду

— напівбруїн