Чи існує припущення про логістичну регресію?

Чи існує припущення про змінну реакцій логістичної регресії?

Наприклад, припустимо, що у нас є точок даних. Здається, відповідь надходить з розподілу Бернуллі з . Тому у нас повинно бути розподілів Бернуллі з різним параметром . $1000$ $Y_i$ $p_i=\text{logit}(\beta_0+\beta_1 x_i)$ $1000$ $p$

Отже, вони "незалежні", але не є "тотожними".

Я правий?

PS. Я дізнався логістичну регресію з літератури "машинного навчання", де ми оптимізуємо цільову функцію і перевіряємо, чи добре це при тестуванні даних, не надто розмовляючи про припущення.

Моє запитання почалося з цієї публікації Розуміння функції посилань у узагальненій лінійній моделі, де я намагаюся дізнатися більше про статистичні припущення.

— Хайтао Ду
джерело

"Припущення" - це те, що може мати теорема. Лінійна регресія має «припущення» про н.о.р. помилок (це не s, які «передбачається» бути н.о.р. в лінійної регресії! Це помилка) в тому сенсі , що Гаусс-Марков теорема має таке припущення. Тепер, чи є якась теорема про те, що хтось має розум для логістичної регресії? Якщо ні, то «припущень» немає.

y

$y$

— амеба каже, що поверніть Моніку

@Amoeba, hxd правильно, зазначивши, що розподіли не однакові: "iid" не застосовується. Якщо хтось використовує логістичну регресію лише для свого пристосування, то (як ви пишете), можливо, мало припущень; але як тільки використовується використана оціночна матриця коваріації коефіцієнтів або бажає побудувати інтервали прогнозування (або, з цього приводу, перехресне підтвердження прогнозованих значень), то це вимагає імовірнісних припущень. Звичайне - відповіді незалежні.

— whuber

@amoeba, як тільки ви хочете виконати умовиводи (тести гіпотез, довірчі інтервали тощо), а не просто обчислити оцінки параметрів, ви зробите низку припущень (деякі більш критичні, ніж інші), щоб мати можливість отримати відповідне нульове розподіл тестова статистика або необхідні обчислення для інтервалу з потрібним покриттям. Навіть відносно низькі процедури припущення все ще мають припущення, і якщо ми піклуємося про наші умовиводи, ми будемо дбати про те, чи можуть вони мати щось поблизу своїх номінальних властивостей.

— Glen_b -Встановити Моніку

@amoeba, мені подобається теорема, яка показує асимптотичну нормальність MLE. Мені також подобається тест на коефіцієнт ймовірності.

— геймер

Їх граничні розподіли не є ідентичними, якщо всі вони не мають однакового значення передбачувача, і тоді ви просто маєте IID випробування на Бернуллі. Їх умовні розподіли (з огляду на прогноктор) все однакові, але я не думаю, що ти зазвичай сказав, що

в цьому випадку є IID.

Y_{i}

$Y_i$

— геймер

Відповіді:

З попереднього запитання ви дізналися, що GLM описується з точки зору розподілу ймовірностей, лінійного предиктора та функції зв'язку і описується як $\eta$ $g$

\begin{aligned} η & = X β \\ E (Y | X) & = μ = g^{- 1} (η) \end{aligned}

$\begin{align} \eta &= X\beta \\ E(Y|X) &= \mu = g^{-1}(\eta) \end{align}$

де - функція зв'язку logit, а передбачається, що слід розподілу Бернуллі $g$ $Y$

Y_{i} \sim B (μ_{i})

$Y_i \sim \mathcal{B}(\mu_i)$

$Y_i$ $\mu_i$ $X$ $Y_i$ $Y_i = g^{-1}(\mu)$ $Y_i$ $Y_i$

Н.о.р. припущення пов'язане з помилками в лінійної регресії (тобто Gaussian GLM), де модель

y_{i} = β_{0} + β_{1} x_{i} + ε_{i} = μ_{i} + ε_{i}

$y_i = \beta_0 + \beta_1 x_i + \varepsilon_i = \mu_i + \varepsilon_i$

$\varepsilon_i \sim \mathcal{N}(0, \sigma^2)$ $\mu_i$ ). Ми все ще хочемо, щоб залишки були "випадковими" навколо нуля, і ми не хочемо бачити в них жодних тенденцій, оскільки вони припускають, що є деякі ефекти, які не враховуються в моделі, але ми не припускаємо, що вони є нормальний та / або iid . Див. Також про важливість припущення про ід у статистичній навчальній нитці.

$Y_i$ $Y_i$ $Y_i$

— Тім
джерело

Як було зазначено, хоча ми часто розглядаємо випадок помилок iid в лінійній регресії, це не має прямого еквівалента в більшості узагальнених лінійних моделей (включаючи логістичну регресію). У логістичній регресії ми, як правило, використовуємо припущення про незалежність результатів, які мають усі суворі відносини (тобто лінійні ефекти на ймовірності журналу). Але ці результати призводять до випадкових змінних, які не є ідентичними, і не підлягають розкладанню на постійний член плюс помилка iid, як це відбувається у випадку лінійної регресії.

Якщо ви дійсно хочете показати, що відповіді мають якесь iid відношення, то слідкуйте за мною наступного абзацу. Тільки знайте, що ця ідея трохи не забита; ви, можливо, не отримаєте повного кредиту за цю відповідь у фіналі, якщо вашому професору бракує терпіння.

$X$ $F_X$ $X$ $q \sim \text{uniform(0,1)}$ $X = F_X^{-1}(q)$ $p = \text{expit}(\beta_o + \beta_1 x)$ $F_Y( y | p)$ $p$ $Y_i$

$p_i = \text{expit}(\beta_o + \beta_1 x_i)$

$q_i \sim\text{uniform(0,1)}$

$Y_i = F^{-1}(q_i | p_i)$

$q_i$

— Кліф АВ
джерело

q_{i}

$q_i$

Y_{i} \sim B (p_{i})

$Y_i \sim \mathcal{B}(p_i)$

Y_{i}

$Y_i$

p_{i}

$p_i$

q_{i}

$q_i$

@Tim: так, друга частина відповіді - це більше цікава сторона, ніж стисла відповідь. Але це може бути корисним способом поглянути на це; зрештою, саме так ваш комп'ютер моделює дані з цих моделей!

— Кліф АВ