Регресування залишків логістичної регресії на інших регресорах

За допомогою регресії OLS, застосованої для безперервної реакції, можна скласти рівняння множинної регресії шляхом послідовно запущених регресій залишків на кожному коваріаті. Моє запитання: чи існує спосіб це зробити за допомогою логістичної регресії через залишки логістичної регресії ?

Тобто, якщо я хочу оцінити використовуючи стандартний узагальнений підхід лінійного моделювання, чи є спосіб запустити логістичну регресію проти x та отримати псевдо-залишки R_1 , а потім регресувати R_1 на z до отримати неупереджений оцінювач коефіцієнтів логістичної регресії. Посилання на підручники чи літературу були б вдячні.$\Pr(Y = 1 | x, z)$$x$$R_1$$R_1$$z$

У стандартній множинній лінійній регресії можливість встановлення оцінок звичайних найменших квадратів (OLS) у два етапи походить від теореми Фріша – Ву-Ловелла . Ця теорема показує, що оцінка коефіцієнта для конкретного предиктора у множинній лінійній моделі дорівнює оцінці, отриманій регресуванням залишків відповіді (залишків від регресії змінної реакції проти інших пояснювальних змінних) проти залишків предиктора (залишків від регресії змінної предиктора щодо інших пояснювальних змінних. Очевидно, ви шукаєте аналогію з цією теоремою, яку можна використовувати в моделі логістичної регресії.

Для цього питання корисно пригадати латентно-змінну характеристику логістичної регресії :

$$Y_i = \mathbb{I}(Y_i^* > 0) \quad \quad \quad Y_i^* = \beta_0 + \beta_X x_i + \beta_Z z_i + \varepsilon_i \quad \quad \quad \varepsilon_i \sim \text{IID Logistic}(0,1).$$

У цій характеристиці моделі змінна латентної відповіді є непомітною, і замість цього ми спостерігаємо показник який повідомляє нам, чи є латентна відповідь позитивною чи ні. Ця форма моделі схожа на множинні лінійні регресії, за винятком того, що ми використовуємо дещо інший розподіл помилок (логістичний розподіл замість нормального розподілу), і що ще важливіше, ми спостерігаємо лише показник, який показує, чи є латентна реакція позитивною чи ні .$Y_i^*$$Y_i$

Це створює проблему для будь-якої спроби створити двоетапну підгонку моделі. Ця теорема Фріша-Во-Ловелла залежить від здатності отримувати проміжні залишки для відповіді та прогнозованого інтересу проти інших пояснювальних змінних. У цьому випадку ми можемо отримати залишки лише із "категоризованої" змінної відповіді. Створення двоступеневого процесу пристосування для логістичної регресії вимагатиме від вас використання залишків відповіді з цієї категоризованої змінної відповіді без доступу до базової латентної відповіді. Мені це здається головним перешкодою, і, хоча це не доводить неможливості, здається, що неможливо підібрати модель в два кроки.

Нижче я розповім про те, що потрібно, щоб знайти двоетапний процес, який би відповідав логістичній регресії. Я не впевнений, чи є вирішення цієї проблеми чи є докази неможливості, але тут матеріал повинен дати вам певний шлях до розуміння того, що потрібно.

---

Як виглядатиме двоступенева логістична регресія? Припустимо, ми хочемо побудувати двоступеневу підгонку для логістичної регресійної моделі, де параметри оцінюються за допомогою оцінки максимальної ймовірності на кожному кроці. Ми хочемо, щоб процес включав проміжний крок, який відповідає наступним двом моделям:

$$\begin{matrix} Y_i = \mathbb{I}(Y_i^{**} > 0) & & & Y_i^{**} = \alpha_0 + \alpha_X x_i + \tau_i & & & \tau_i \sim \text{IID Logistic}(0,1), \\[6pt] & & & \text{ } \text{ } Z_i = \gamma_0 + \gamma_X x_i + \delta_i & & & \delta_i \sim \text{IID } g. \quad \quad \quad \quad \quad \\ \end{matrix}$$

Ми оцінюємо коефіцієнти цих моделей (через MLE), і це дає проміжні пристосовані значення . Потім на другому кроці ми підходимо до моделі:$\hat{\alpha}_0, \hat{\alpha}_X, \hat{\gamma}_0, \hat{\gamma}_X$

$$Y_i = \text{logistic}(\hat{\alpha}_0 + \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i) + \epsilon_i \quad \quad \quad \epsilon_i \sim \text{IID } f.$$

Як зазначено, у процедурі багато фіксованих елементів, але функції щільності і на цих етапах залишаються невизначеними (хоча вони повинні бути нульово-середніми розподілами, які не залежать від даних). Для отримання двоступеневого методу підгонки за цими обмеженнями нам потрібно вибрати і щоб переконатися, що MLE для у цьому алгоритмі пристосування моделі є таким же, як MLE, отриманий з одномоментної логістичної регресійної моделі вище.$g$$f$$g$$f$$\beta_Z$

Щоб побачити, чи це можливо, спочатку записуємо всі оцінені параметри з першого кроку:

$$\begin{equation} \begin{aligned} \ell_{\mathbf{y}| \mathbf{x}} (\hat{\alpha}_0, \hat{\alpha}_X) &= \underset{\alpha_0, \alpha_X}{\max} \sum_{i=1}^n \ln \text{Bern}(y_i | \text{logistic}(\alpha_0 + \alpha_X x_i)), \\[10pt] \ell_{\mathbf{z}| \mathbf{x}} (\hat{\gamma}_0, \hat{\gamma}_X) &= \underset{\gamma_0, \gamma_X}{\max} \sum_{i=1}^n \ln g( z_i - \gamma_0 - \gamma_X x_i ). \end{aligned} \end{equation}$$

Нехай так що функція вірогідності журналу для другого кроку є:$\epsilon_i = y_i - \text{logistic}(\hat{\alpha}_0 - \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i)$

$$\ell_{\mathbf{y}|\mathbf{z}|\mathbf{x}}(\beta_Z) = \sum_{i=1}^n \ln f(y_i - \text{logistic}(\hat{\alpha}_0 - \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i)).$$

Ми вимагаємо, щоб максимальна величина цієї функції була MLE моделі множинної логістичної регресії. Іншими словами, ми вимагаємо:

$$\underset{\beta_X}{\text{arg max }} \ell_{\mathbf{y}|\mathbf{z}|\mathbf{x}}(\beta_Z) = \underset{\beta_X}{\text{arg max }} \underset{\beta_0, \beta_Z}{\max} \sum_{i=1}^n \ln \text{Bern}(y_i | \text{logistic}(\beta_0 + \beta_X x_i + \beta_Z z_i)).$$

Я залишаю це іншим, щоб визначити, чи є рішення цієї проблеми чи доказ того, що немає рішення. Я підозрюю, що «категоризація» змінної латентної реакції у логістичній регресії унеможливить пошук двоступеневого процесу.

Можливо, я неправильно трактую питання. Я сумніваюся, ви можете скласти рівняння лінійної регресії шляхом регресії на залишках способом, визначеним ОП . Метод ОП працював би лише в тому випадку, якщо передбачувачі не залежать один від одного.

Для того, щоб він працював, припустимо, що - вектор результату, - матриця моделі для предикторів, які вже є в моделі, і ви хочете включити . Вам потрібно регресувати залишок регресії на проти залишку регресії на щоб отримати коефіцієнт OLS для .$y$$X$$x_1$$y$$X$$x_1$$X$$x_1$

Ось простий приклад:

set.seed(12345)
n <- 5000
x1 <- rnorm(n)
x2 <- .5 * x1 + rnorm(n) # Correlated predictors
y <- x1 + x2 + rnorm(n)

Підходить модель з OLS:

coef(lm(y ~ x1 + x2))
(Intercept)          x1          x2 
0.001653707 1.037426007 0.996259446 

Регресія щодо залишків:

coef(lm(residuals(lm(y ~ x1)) ~ x2))
(Intercept)          x2 
0.001219232 0.818774874 

Це неправильно, вам потрібно:

coef(lm(residuals(lm(y ~ x1)) ~ residuals(lm(x2 ~ x1))))
           (Intercept) residuals(lm(x2 ~ x1)) 
         -6.707350e-17           9.962594e-01 

Який повертає правильний коефіцієнт для x2, це вирівнюється з очікуваними різницями у заданих відмінностях у x2, тримаючи x1 постійною (виймаючи його з y і x1).

Це в стороні логістичної регресії було б навіть більш проблематичним, оскільки коефіцієнти логістичної регресії страждають від опущених змінних ухилів навіть за відсутності плутаних відносин, дивіться тут і тут , тому, якщо всі прогнози результатів не є в моделі, не можна отримати неупереджені оцінки справжніх параметрів населення. Більше того, я не знаю жодних залишків з цієї моделі, які могли б піддатися другій логістичній регресії з усіма значеннями, що лежать між 0 і 1.

Деякі посилання на регресію щодо залишків:

• Maxwell, SE, Delaney, HD, & Manheimer, JM (1985). Анова залишків та Анкова: виправлення ілюзії за допомогою модельних порівнянь та графіків. Журнал статистики освіти, 10 (3), 197–209. Отримано з http://journals.sagepub.com/doi/pdf/10.3102/10769986010003197
• Freckleton, RP (2002), Про неправильне використання залишків в екології: регресія залишків проти множинної регресії. Журнал екології тварин, 71 , 542-545. doi: 10.1046 / j.1365-2656.2002.00618.x

Я сподіваюся, що я не неправильно трактую ваше запитання, оскільки моя відповідь трохи змінить формулювання того, як ви сформулювали тему.

Я думаю, що ти намагаєшся створити свою регресійну модель, додавши по черзі одну незалежну змінну. І ви це робите, спостерігаючи, яка перспективна змінна має найвищу кореляцію із залишком вашої першої регресії між Y та X1. Отже, змінна з найбільшою кореляцією з цим першим залишком буде X2. Отже, тепер у вас є модель з двома незалежними змінними X1 і X2. І, ви продовжуєте цей точний процес, щоб вибрати X3, X4 тощо. Це крок вперед.

Ви можете зробити те саме, що з Logistic Regression з тієї простої причини, що Logistic Regression є значною мірою OLS Regression, де залежною змінною є лог непарного (або logit). Але, чи є Y logit чи ні, це не впливає на поступовий процес, зазначений вище.

OLS мінімізує суму квадратних помилок, щоб відповідати фактичним даним. Регресія Logit використовує процес максимальної ймовірності, який генерує пристосування, яке не все відрізняється від OLS. І це теж (механізм підгонки) не повинно впливати на ступінчастий процес вперед, що дозволяє побудувати вашу модель множинної регресії, будь то остання OLS-регресія чи Logit-регресія.