Особливості ранжування в логістичній регресії

Я використовував логістичну регресію. У мене є шість функцій, я хочу знати важливі особливості цього класифікатора, які впливають на результат більше, ніж інші функції. Я використовував інформаційне посилення, але, схоже, це не залежить від використовуваного класифікатора. Чи існує якийсь метод класифікації ознак за їх важливістю на основі конкретного класифікатора (наприклад, логістична регресія)? будь-яка допомога буде дуже вдячна.

— BlueGirl
джерело

Логістична регресія не є класифікатором. Будь ласка, напишіть своє запитання, щоб відобразити, що логістична регресія є моделлю прямої оцінки ймовірностей.

— Френк Харрелл

Окрім точки, піднятої ФренкГарреллом, ви подивилися на

p

$p$ -значення ваших розрахункових коефіцієнтів? Це, безумовно, не найкращий спосіб ранжування функцій, але це може дати вам вихідну точку.

— usεr11852

Впевнений, що логістична регресія - це оцінка ймовірності, а не чіткого класифікації речей, але кого це хвилює? Метою часто є вирішити, який клас є найбільш імовірним, і немає нічого поганого в тому, щоб називати його класифікатором, якщо для цього ви його використовуєте.

— dsaxton

Відповіді:

Я думаю, що відповідь, яку ви шукаєте, може бути алгоритмом Boruta . Це метод обгортки, який безпосередньо вимірює важливість ознак у сенсі "всієї актуальності" і реалізується в пакеті R , який створює приємні сюжети, наприклад, коли важливість будь-якої функції знаходиться на осі y і порівнюється з нульовий сюжет нанесений синім кольором. Ця публікація в блозі описує підхід, і я рекомендую вам прочитати його як дуже чіткий вступ.

— babelproofreader
джерело

Приємна пропозиція (+1). Я думаю, що це трохи надмірності для цього додатка, але гарне доповнення, проте. Я безумовно розумію , що він буде робити добре в

ситуацій. Чи знаєте ви якісь порівняльні оглядові дослідження, в яких його порівнювали з іншими алгоритмами класифікації?

p >> n

$p >> n$

— usεr11852

@ usεr11852 Ні, я ні. Я тільки що натрапив на це сам останній тиждень або близько того.

— babelproofreader

Гммм ... Гаразд, Борута здається дуже перспективним, але я завжди скептично ставляться до нових нових алгоритмів, поки не розглядаю їх як частини більшого вивчення і не бачу випадків, коли вони не вдається досягти кращого результату ( немає теореми про безкоштовний обід ).

— usεr11852

Цікава ідея, але не пов'язана з логістичною регресією.

— Френк Харрелл

"Boruta - це метод вибору функцій, а не метод ранжирування особливостей" Дивіться поширені запитання на домашній сторінці пакета

— steadyfish

$R^2$ 3 ]. Інший популярний підхід - усереднення по порядку замовлень (LMG, 1980) [ 2 ].

$R^2$

Список популярних підходів до ранжування важливості функції в логістичних регресійних моделях:

$R^2$
Адекватність: частка повної ймовірності повного журналу моделі, яка може бути пояснена кожним прогноктором окремо
Відповідність: вказує на здатність моделі розмежувати позитивні та негативні змінні відповіді. Для кожного прогноктора будується окрема модель, і оцінка важливості - це прогнозована ймовірність справжніх позитивних результатів на основі лише цього прогноктора.
Інформаційне значення: Інформаційні значення кількісно оцінюють кількість інформації про результат, отриманий від прогноктора. Він ґрунтується на аналізі кожного прогнозника по черзі, без урахування інших прогнокторів.

Список літератури:

— Сандіп С. Сандху
джерело

Не турбуйтеся. Логістична регресія (LR) дуже може бути класифікаційною схемою. LR мінімізує такі втрати:

\underset{ш, б}{хв} \sum_{i = 1}^{н} журнал (1 + досвід (- у_{i} f_{ш, б} (х_{i}))) + λ {‖ ш ‖}^{2}

$\mathop {\min }\limits_{{\bf{w}},b} \sum\limits_{i = 1}^n {\log \left( {1 + \exp \left( { - {y_i}{f_{{\bf{w}},b}}({x_i})} \right)} \right) + \lambda {{\left\| {\bf{w}} \right\|}^2}}$

x_{i}

$x_i$

y_{i}

$y_i$

i

$i$

w

$\mathbf{w}$

b

$b$

f_{w, b} (x_{i})

${{f_{w,b}}({x_i})}$ . Останній член проблеми мінімізації - це термін регуляризації, який, серед іншого, контролює узагальнення моделі.

$\mathbf{x}$ $\mathbf{x}$ , досить легко зрозуміти, які змінні важливіші: ті, які більші за інших або (з негативної сторони), менші за інші. Вони найбільше впливають на втрати.

Якщо ви зацікавлені у пошуку змінних, які насправді є важливими, і в процесі цього не проти запустити декілька, ви можете $\ell_1$

\underset{ш, б}{хв} \sum_{i = 1}^{н} журнал (1 + досвід (- у_{i} f_{ш, б} (х_{i}))) + λ | ш |

$\mathop {\min }\limits_{{\bf{w}},b} \sum\limits_{i = 1}^n {\log \left( {1 + \exp \left( { - {y_i}{f_{{\bf{w}},b}}({x_i})} \right)} \right) + \lambda \left| {\bf{w}} \right|}$

$\lambda$ $\mathbf{w}$

Я сподіваюся, що це допомагає. Задайте питання, чи є у вас додаткові запитання.

— pAt84
джерело

LR не є класифікаційною схемою. Будь-яке використання класифікації відбувається як крок після підтвердження після визначення функції корисності / вартості. Крім того, ОП не запитувала про пеналізовану максимальну оцінку ймовірності. Для надання доказів щодо відносної важливості змінних в регресії дуже просто використовувати завантажувальну стрічку для отримання меж довіри для рангів доданої прогнозної інформації, що надається кожним прогноктором. Приклад наведений у розділі 4 Стратегії моделювання регресії, чиї онлайн-нотатки та код R доступні на biostat.mc.vanderbilt.edu/RmS#Materials

— Frank

Проф. Харрелл, будь ласка. Очевидно, що ми до цього підходимо з двох різних сторін. Ви зі статистичної, а я - з машинного навчання. Я поважаю вас, ваше дослідження та вашу кар’єру, але ви дуже вільні сформулювати власну відповідь і дозволити ОП вирішити, який з них він вважає кращою відповіддю на своє питання. Я захоплююсь навчанням, тому, будь ласка, навчіть мене свого підходу, але не змушуйте мене купувати вашу книгу.

— pAt84

Я лише зазначу, що логістичну регресію розробив статистик Д. Р. Кокс в 1958 році, десятиліттями до того, як існувало машинне навчання. Важливо також зазначити, що "сформульована функція втрати" (краще, можливо, називається об'єктивна функція?), Яку ви сформулювали, не має жодного відношення до класифікації. І що означало для вас, що мої обширні ноти та аудіофайли, доступні в Інтернеті, з усією інформацією, про яку я згадував, коштували чогось?

— Френк Харрелл

Я підтримав обидва початкові коментарі, оскільки обидва піднімають дійсні бали. Пізніші коментарі трохи нагадують дрібну

— сварку

PS Намагання більш чіткого способу сказати це, оптимізація прогнозування / оцінки призводить до оптимальних рішень, оскільки функція корисності застосовується на другому кроці і дозволяється не мати зв'язку з предикторами. Оптимізація прогнозування / оцінки не оптимізує класифікацію і навпаки. Оптимізація класифікації означає використання дивної функції утиліти, пристосованої до набору даних та може не застосовуватися до нових наборів даних. Люди, які дійсно хочуть оптимізувати класифікацію (не рекомендується), можуть використовувати метод, який взагалі обходить оцінку / прогнозування.

— Френк Харрелл