Чому логістичну регресію не називають логістичною класифікацією?

75

Оскільки логістична регресія є моделлю статистичної класифікації, яка займається категорично залежними змінними, чому її не називають логістичною класифікацією ? Чи не слід ім'я "Регресія" зарезервувати для моделей, що працюють з постійними залежними змінними?

— Ісмаїл Галімі
джерело

5

Логістична регресія належить до сімейства моделей GLM.

— Stéphane Laurent

10

Ви можете використовувати його для регресування ймовірностей.

— Емре

25

Незважаючи на те, що логістичну регресію, безумовно, можна використовувати для класифікації шляхом введення порогу ймовірностей, які вона повертає, навряд чи це єдине її використання - або навіть його первинне використання. Він був розроблений для - і продовжує використовуватися для - регресійних цілей, що не мають нічого спільного з класифікацією. Я б заперечував, що це все ще легко, для чого в основному використовується, але я думаю, це залежить від того, на що ви дивитесь.

— Glen_b

6

Ви можете знайти цей документ з розвитку логістичної регресії цікавого, в зокрема , оскільки вона дає певне уявлення про види проблем , з якими він використовується для в якості методу регресії.

— Glen_b

102

Логістична регресія очевидно не є алгоритмом класифікації самостійно. Це лише алгоритм класифікації в поєднанні з правилом рішення, що робить дихотомічним прогнозовані ймовірності результату. Логістична регресія є регресійною моделлю, оскільки вона оцінює ймовірність приналежності до класу як (перетворення а) багатолінійної функції ознак.

Френк Харрелл опублікував на цьому веб-сайті низку відповідей, де перераховує дефекти щодо логістичної регресії як алгоритму класифікації. Серед них:

Класифікація - це рішення . Для прийняття оптимального рішення потрібно оцінити корисну функцію, що означає, що вам потрібно враховувати невизначеність результату, тобто ймовірність. ≈
Витрати на помилкову класифікацію неоднакові для всіх підрозділів.
Не використовуйте обрізи.
Використовуйте правильні правила скорингу.
Проблема - це фактично оцінка ризиків, а не класифікація.

Якщо я правильно пригадую, він одного разу вказав мені на свою книгу про стратегію регресії для більш детальної роботи над цими (і більше!) Пунктами, але я не можу знайти цю конкретну посаду.

— Сикоракс
джерело

1

Якщо це так, всі (або більшість) класифікаторів прогнозують ймовірність спочатку належати до класу (наскільки я знаю), а потім перетворять цю проблему на класи. Чи не так?

— Outlier

9

@Outlier Counterexample: SVM взагалі не обчислює ймовірності класу, він просто вимірює відстань між спостереженням та гіперпланом.

— Sycorax

@Вдалі в ML вони називаються імовірнісними класифікаторами; дерев і випадкових лісів немає, xgboost є - принаймні, з лолос)

— seanv507

12

$E[Y|X=x]$

Припускаючи, що (Y | X = x) нормально розподілені врожаї з класичною лінійною регресією.
Якщо припустити розподіл Пуассона, то це призводить до регресії Пуассона.
Припустимо, що розподіл Бернуллі спричиняє логістичну регресію.

$(Y|X=x)$

— Чад Шеррер
джерело

-3

Крім вже наданих хороших відповідей, інша думка полягає в тому, що логістична регресія прогнозує ймовірності (що є постійним значенням ), які мають діапазон від 0 до 1.

— криш___на
джерело