Коли підходить логістична регресія?

В даний час я навчаю себе, як робити класифікацію, і конкретно розглядаю три методи: підтримку векторних машин, нейронні мережі та логістичну регресію. Я намагаюся зрозуміти, чому логістична регресія коли-небудь буде краще, ніж інші дві.

З мого розуміння логістичної регресії, ідея полягає у пристосуванні логістичної функції до всіх даних. Отже, якщо мої дані є двійковими, всі мої дані з міткою 0 мають бути зіставлені у значення 0 (або близько до нього), а всі мої дані зі значенням 1 мають бути зіставлені у значення 1 (або близько до нього). Тепер, оскільки логістична функція безперервна і гладка, для виконання цієї регресії потрібні всі мої дані, щоб відповідати кривій; немає більшої важливості, що застосовується до точок даних поблизу межі прийняття рішення, і всі точки даних сприяють втратам на різну кількість.

Однак для апаратів вектора підтримки та нейронних мереж важливі лише ті точки даних, що знаходяться біля межі рішення; до тих пір, поки точка даних залишатиметься на тій же стороні межі рішення, це призведе до тієї ж втрати.

Тому чому логістична регресія коли-небудь перевершує підтримку векторних машин або нейронних мереж, враховуючи, що вона "витрачає ресурси" на спробу підлаштувати криву до безлічі неважливих (легко класифікуються) даних, а не зосереджуватись лише на складних даних навколо рішення межа?

— Karnivaurus
джерело

LR дасть вам оцінки ймовірності, в той час як SVM дає бінарні оцінки. Це також робить LR корисним, коли між класами немає роздільної гіперплани. Крім того, ви повинні врахувати складність алгоритмів та інші характеристики, такі як кількість параметрів та чутливість.

— Бар

Пов’язано: stats.stackexchange.com/questions/127042/…

— Sycorax

Відповіді:

Ресурси, які ви вважаєте "витраченими", насправді є інформаційними надходженнями, що забезпечуються логістичною регресією. Ви почали з неправильної передумови. Логістична регресія не є класифікатором. Це оцінка ймовірності / ризику. На відміну від SVM, він дозволяє і очікує "закритих дзвінків". Це призведе до оптимального прийняття рішень, оскільки він не намагається ввести фокус передбачуваного сигналу у включення функції корисності, яка неявна під час класифікації спостережень. Метою логістичної регресії з використанням максимальної оцінки ймовірності є надання оптимальних оцінок зонду . Результат застосовується багатьма способами, наприклад, криві підйому, оцінка кредитного ризику тощо. Дивіться книгу Нейт Сілвер « Сигнал і шум» $(Y=1|X)$ за переконливі аргументи на користь імовірнісних міркувань.

Зауважимо, що залежна змінна в логістичній регресії може бути кодована будь-яким способом: 0/1, A / B, так / ні і т.д. $Y$

Основне припущення логістичної регресії полягає в тому, що по-справжньому бінарний, наприклад, він не був створений з базової порядкової чи постійної змінної реакції. Він, як і класифікаційні методи, є справді явищами, що абсолютно чи ні-що. $Y$

Деякі аналітики вважають, що логістична регресія передбачає лінійність ефектів прогнозів за шкалою шансів на журнал. Це було справедливо лише тоді, коли Д.Р. Кокс винайшов логістичну модель у 1958 р. В той час, коли обчислювальна техніка не була доступна для розширення моделі за допомогою таких інструментів, як регресійні сплайси. Єдиною реальною слабкістю логістичної регресії є те, що вам потрібно вказати, які взаємодії ви хочете дозволити в моделі. Для більшості наборів даних це перетворюється на сильну силу, оскільки основні ефекти аддитивного типу, як правило, набагато сильніші передбачувачі, ніж взаємодії, а методи машинного навчання, які надають однаковий пріоритет взаємодії, можуть бути нестабільними, важко інтерпретувати і вимагати більших розмірів вибірки, ніж логістична регресія для прогнозування добре.

— Френк Харрелл
джерело

+1. Якщо чесно, я ніколи не вважав, що SVM є корисними. Вони сексуальні, але вони повільно тренуються і забивають - на мій досвід - і мають багато варіантів, з якими потрібно пограбувати (включаючи ядро). Нейронні мережі я вважаю корисними, але також безліч варіантів та коригувань. Логістичний регрес простий і дає чітко відкалібровані результати поза рамками. Калібрування важливо для реального використання. Звичайно, недоліком є те, що він лінійний, тому не може вмістити кластерні, грубі дані та інші методи, такі як Random Forest.

— Вейн

Чудова відповідь. До речі, вам може бути цікаво дізнатись, що останнім часом машинобудівники зійшлися, щоб пристосувати свої фантазійні методи до традиційних рамок, таких як максимально можлива пені - і, виявляється, фантазійні методи працюють набагато краще, коли це буде зроблено. Розглянемо XGBoost, мабуть, найефективніший алгоритм активізації ансамблю дерев. Математика тут: xgboost.readthedocs.io/en/latest/model.html . Це має виглядати досить звично традиційному статистику, і ви можете підходити до моделей для багатьох загальних статистичних цілей із звичайними функціями втрат.

— Пол

Ви маєте рацію, часто логістична регресія погано спрацьовує як класифікатор (особливо порівняно з іншими алгоритмами). Однак це не означає, що логістичну регресію слід забувати і ніколи не вивчати, оскільки вона має дві великі переваги:

Імовірнісні результати. Френк Харрелл (+1) це дуже добре пояснив у своїй відповіді.
$Y=1$ $X_1 = 1$ $2$ $X_2,...X_p$

— TrynnaDoStat
джерело

І явна низька ефективність як класифікатора є результатом використання неправильної оцінки точності, а не проблеми, властивої логістичній регресії.

— Френк Харрелл

@FrankHarrell: Останнім часом я робив кілька експериментів, і я б сказав, що логістична регресія відповідає даних набагато менше свободи, ніж інші методи. Вам потрібно додати взаємодії та зробити більше інженерних можливостей, щоб відповідати, скажімо, гнучкості Random Forest або GAM. (Звичайно, гнучкістю є канат, який перетинає безодню оздоблення.)

— Уейн

@wayne Ця менша свобода, як ви заявляєте, дуже корисна у багатьох випадках, оскільки вона забезпечує стабільність

— rapaio

Не тільки припущення, що умови взаємодії менш важливі, ніж додаткові терміни, додає гнучкість, але ви можете розслабити припущення багатьма способами. Я більше додаю про це у своїй оригінальній відповіді.

— Френк Харрелл

@rapaio: Так, гнучкість небезпечна, як з точки зору надмірного оздоблення, так і з іншого боку. Це проблема домену / використання: чи ваші дані галасливі, чи це справді "грудочки / кластери", якщо я можу використовувати цей термін?

— Уейн