Чому логістична регресія є лінійною моделлю?

24

Хочу знати, чому логістичну регресію називають лінійною моделлю. Тут використовується сигмоїдна функція, яка не є лінійною. То чому логістична регресія є лінійною моделлю?

regression logistic terminology

— користувач34790
джерело

6

Логіт (журнал непарностей) лінійний у параметрах, але люди не відносять логістичну регресію до лінійної, наскільки я знаю. Чи можете ви навести, хто це сказав?

π

$\pi$

— gung - Відновіть Моніку

@ gung-ReinstateMonica Наприклад, у книзі «Глибоке навчання» на сторінці 169 ( deeplearningbook.org/contents/mlp.html ). У книзі вони зазначають "Лінійні моделі, такі як логістична регресія та лінійна регресія, привабливі ....." Я думаю, що вони означали Узагальнену лінійну модель для логістичної регресії.

— МОЛОДИЙ

33

Модель логістичної регресії має вигляд Його називають узагальненою лінійною моделлю не тому, що оцінена ймовірність події відповіді лінійна, а тому, що логіт оціночної відповіді на ймовірність є лінійною функцією параметрів ~~предикторів~~ .

л о г i т (p_{i}) = л н (\frac{p_{i}}{1 - p_{i}}) = β_{0} + β_{1} х_{1, i} + β_{2} х_{2, i} + \dots + β_{p} х_{p, i} .

$\mathrm{logit}(p_i) = \mathrm{ln}\left(\frac{p_i}{1-p_i}\right) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i}.$

Більш загально узагальнена лінійна модель має вигляд де - очікуване значення відповіді, що дається коваріатами.

г ({мк}_{i}) = β_{0} + β_{1} х_{1, i} + β_{2} х_{2, i} + \dots + β_{p} х_{p, i},

$\mathrm{g}(\mu_i) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i},$

μ

$\mu$

Редагувати: Дякуємо вам за коригування.

— П Шнелл
джерело

7

Якби ви писали «узагальнену лінійну» замість «лінійну» та параметри замість предикторів, це було б правильно. (Багато логістичних регресійних моделей не є лінійними в провісниках. Наприклад, жодна логістична регресія з терміном взаємодії не буде лінійною у привідників.)

— whuber

Ви маєте рацію, дякую. Я оновив свою відповідь, щоб це відобразити.

— П Шнелл

що там пі?

— Ерін

7

Логістична регресія використовує загальне лінійне рівняння . У лінійній регресії є суцільною залежною змінною, але в логістичній регресії вона регресує для ймовірності категоричного результату (наприклад, 0 і 1). $Y=b_0+∑(b_i X_i)+\epsilon$ $Y$

Ймовірність дорівнює: $Y=1$

П (Y = 1) = \frac{1}{1 + е^{- (б_{0} + \sum (б_{i} Х_{i}))}}

$P(Y=1) = {1 \over 1+e^{-(b_0+\sum{(b_iX_i)})}}$

— lennon310
джерело

7

Лінійний означає лінійний в бетах (коефіцієнти), але не в x (незалежні змінні), тому поки бета-версії не є нелінійними, ваша модель є лінійною.

— Ілунь Чжан
джерело

3

Це правда , - але , до жаль , логістична регресія є узагальненою лінійною моделлю , і це НЕ лінійно за параметрами.

— whuber