Чим відрізняється лінійна регресія від логістичної регресії?

122

Коли ви використовували б кожен?

regression logistic linear-model

— Б Сім
джерело

У лінійній регресійній моделі залежна змінна вважається безперервною, тоді як в логістичній регресії вона категоричною, тобто дискретною. У застосуванні перший використовується в налаштуваннях регресії, тоді як останній використовується для двійкової класифікації або багатокласової класифікації (де вона називається багаточленною логістичною регресією).

y

$y$

— Пардіс

Хоча це написано в іншому контексті, це може допомогти вам прочитати мою відповідь тут: Різниця між моделями logit і probit , яка містить багато інформації про те, що відбувається в логістичній регресії, що може допомогти вам зрозуміти їх краще.

— gung

Усі попередні відповіді вірні, але є причини, за які ви можете віддати перевагу лінійній регресійній моделі, навіть якщо ваш результат є дихотомією. Я писав про ці причини тут: statisticshorizons.com/linear-vs-logistic

— Пол фон Гіппель

Відповіді:

111

Лінійна регресія використовує загальне лінійне рівняння де - безперервна залежна змінна, і незалежні змінні зазвичай є безперервними (але також можуть бути двійковими, наприклад, коли лінійна модель використовується в t- тест) або інші окремі домени. - це термін для дисперсії, який не пояснюється моделлю і зазвичай називається "помилка". Індивідуальні залежні значення, позначені можна вирішити, змінивши рівняння трохи: $Y=b_0+∑(b_i X_i)+\epsilon$ $Y$ $X_i$ $\epsilon$ $Y_j$ $Y_j=b_0 + \sum{(b_i X_{ij})+\epsilon_j}$

Логістична регресія - це ще одна узагальнена лінійна модель (GLM), що використовує ту саму основну формулу, але замість безперервного вона регресує для ймовірності категоричного результату. У найпростішій формі це означає, що ми розглядаємо лише одну змінну результату і два стани цієї змінної - або 0, або 1. $Y$

Рівняння ймовірності виглядає так: $Y=1$

P (Y = 1) = \frac{1}{1 + e^{- (b_{0} + \sum (b_{i} X_{i}))}}

$P(Y=1) = {1 \over 1+e^{-(b_0+\sum{(b_iX_i)})}}$

Ваші незалежні змінні можуть бути безперервними або двійковими. Коефіцієнти регресії можна експонувати, щоб дати вам зміни коефіцієнта за зміну , тобто і . називається коефіцієнтом шансів, . Англійською мовою можна сказати, що шанси збільшуються на коефіцієнт на одиницю зміни в . $X_i$ $b_i$ $Y$ $X_i$ $Odds={P(Y=1) \over P(Y=0)}={P(Y=1) \over 1-P(Y=1)}$ ${\Delta Odds}= e^{b_i}$ $\Delta Odds$ $Odds(X_i+1)\over Odds(X_i)$ $Y=1$ $e^{b_i}$ $X_i$

Приклад: Якщо ви хотіли побачити, як індекс маси тіла прогнозує рівень холестерину в крові (безперервний показник), ви використовували б лінійну регресію, як описано у верхній частині моєї відповіді. Якщо ви хотіли побачити, як ІМТ прогнозує шанси на діабет (бінарний діагноз), ви використовуєте логістичну регресію.

— DocBuckets
джерело

Це виглядає як чудова відповідь, але чи можете ви пояснити, що і, зокрема, чому ви включаєте їх у підсумки? (Що, все-таки, підсумовується?)

ϵ_{i}

$\epsilon_i$

— бід

Мені здається, що Білл вважав, що він мав намір писати тобто (латинська абревіатура для цього є), а не ei

— Майкл Черник

Але εi в підсумовуванні показника не повинно бути там. Схоже, термін шуму в моделі був випадково перенесений туди. Єдине підсумовування повинно бути над біс, що представляє р-коефіцієнти для p-коваріатів.

— Майкл Черник

Існує помилка у вашому вираженні для . У вас повинен бути не Випадковість у логістичній регресійній моделі походить від того, що це випробування Бернуллі, а не від помилок у ймовірності успіху (ось як ти це написав).

P (Y = 1)

$P(Y=1)$

P (Y = 1) = \frac{1}{1 + \exp {- X β}},

$P(Y=1) = \frac{1}{1 + \exp \{-X \boldsymbol{\beta} \} },$

P (Y = 1) = \frac{1}{1 + \exp {- (X β + ε)}}

$P(Y=1) = \frac{1}{1 + \exp \{ -(X \boldsymbol{\beta}+\varepsilon) \} }$

— Макрос

Логістична регресія @samthebrand сама по собі не є двійковою. Її можна використовувати для моделювання даних з двійковою відповіддю через ймовірності, що становлять від 0 до 1. Перехід до безсоромно підключити мою публікацію в блозі, яка повинна очистити вашу плутанину.

— Бен

Лінійна регресія використовується для встановлення взаємозв'язку між залежними та незалежними змінними, що корисно при оцінці результуючої залежної змінної у випадку незалежної зміни змінної. Наприклад:

За допомогою лінійної регресії виявляється, що зв'язок між дощем (R) та продажем парасольки (U) є - U = 2R + 5000

Це рівняння говорить про те, що на кожні 1 мм дощу потрібно попит на 5002 парасольки. Отже, використовуючи просту регресію, можна оцінити значення змінної.

З іншого боку, логістична регресія використовується для встановлення ймовірності події. І ця подія фіксується у двійковому форматі, тобто 0 або 1.

Приклад - я хочу з’ясувати, чи купить мій товар клієнт чи ні. Для цього я би запустив логістичну регресію на (релевантних) даних, і моя залежна змінна була б бінарною змінною (1 = так; 0 = ні).

З точки зору графічного подання, лінійна регресія дає лінійну лінію як вихід, як тільки значення нанесено на графік. Тоді як логістична регресія дає S-подібну лінію

Довідка від Мохіта Хурана.

— Віджай Рам
джерело

Re: "Лінійна регресія використовується для встановлення взаємозв'язку між залежною та незалежною змінними" - це також стосується логістичної регресії - це просто те, що залежна змінна є двійковою.

— Макрос

Логістична регресія не тільки для прогнозування бінарної події ( класи). Його можна узагальнити до класів (багаточленна логістична регресія)

2

$2$

k

$k$

— tgy

Різниці були врегульовані DocBuckets та Pardis, але я хочу додати один із способів порівняння їх продуктивності, не згадуваний.

Лінійна регресія зазвичай вирішується шляхом мінімізації найменшої похибки квадрата моделі до даних, тому великі помилки штрафуються квадратично. Логістична регресія якраз навпаки. Використання функції логістичних втрат спричиняє великі помилки до асимптотичної константи.

Розглянемо лінійну регресію за категоричними {0,1} результатами, щоб побачити, чому це проблема. Якщо ваша модель передбачає результат 38, коли правда дорівнює 1, ви нічого не втратили. Лінійна регресія намагатиметься зменшити цю 38, логістична не (настільки ж).

— Дж. Абрахамсон
джерело

Тоді були ситуації / випадки, які караються логістично, тобто в яких випадках ми б погано підходили?

— MSIS

Якраз навпаки: коли більші відхилення від пристосування насправді дають гірші результати. Наприклад, логістична регресія добре допомагає вам забивати вас, коли ви потрапляєте у дошку про дартс, але не можу зробити привабливим виглядом приємно виглядати. Або, аналогічно, вважає, що близька промах дошки - це те саме, що дотримуватися вашого сусіда.

— Дж. Абрахамсон

Чудова відповідь. Чи було проведено якесь дослідження, наскільки це шкодить продуктивності моделі? Я маю на увазі, якщо лінійна регресія була використана для прогнозування відповіді = {0,1} замість логістичної регресії.

— Тагар