Я, мабуть, маю справу з проблемою, яка, ймовірно, була вирішена сто разів раніше, але я не знаю, де знайти відповідь.

Використовуючи логістичну регресію, враховуючи багато функцій і намагаючись передбачити двійкове категоричне значення , мені цікаво вибрати підмножину функцій, яка прогнозує добре.$x_1,...,x_n$$y$$y$

Чи існує процедура, схожа на ласо, яку можна використовувати? (Я бачив лише ласо, що використовується для лінійної регресії.)

Чи дивиться на коефіцієнти приталеної моделі вказівку на важливість різних ознак?

Редагувати - Уточнення після ознайомлення з деякими відповідями:

1. Коли я маю на увазі величину пристосованих коефіцієнтів, я маю на увазі ті, які підходять до нормалізованих (середнє значення 0 та дисперсія 1) ознак. Інакше, як зазначає @probabilityislogic, 1000x виявиться менш важливим, ніж x.

2. Мені не цікаво просто знайти найкращий k-підмножину (як пропонував @Davide), а скоріше зважувати важливість різних функцій відносно один одного. Наприклад, одна особливість може бути "вік", а інша особливість "вік> 30". Їх додаткове значення може бути невеликим, але обидва можуть бути важливими.

Відповідь DWin пропонує відповідь, але мало розуміння, тому я подумав, що може бути корисним дати пояснення.

Якщо у вас є два класи, ви в основному намагаєтесь оцінити . Це все, що вам потрібно, і модель логістичної регресії передбачає, що:$p=P(y_i=1|X=x_i)$

$log \frac{p}{1-p} = log \frac{P(y_i=1|X=x_i)}{P(y_i=0|X=x_i)}=\beta _0 + \beta _1 ^T x_i$

Я вважаю, що ви маєте на увазі важливість функції , як вона впливає на або іншими словами, що таке .p ∂ $j$$p$$\frac{\partial p}{\partial x_{ij}}$

Після невеликої трансформації ви можете це побачити

$p=\frac{e^{\beta _0 + \beta _1 ^T x_i}}{1+e^{\beta _0 + \beta _1 ^T x_i}}$ .

Як тільки ви порахуєте свою похідну, ви побачите це

$\frac{\partial p}{\partial x_{ij}} = \beta_j e^{\beta_0 + \beta _1 ^T x_i}$

Це явно залежить від значення всіх інших змінних. Однак ви можете зауважити, що коефіцієнт SIGN можна інтерпретувати так, як вам потрібно: якщо він від'ємний, то ця ознака зменшує ймовірність p.

Тепер у вашій процедурі оцінювання ви намагаєтеся оцінити s, вважаючи, що ваша модель правильна. За допомогою регуляризації ви вводите деякі упередження в ці оцінки. Для регресії хребта та незалежних змінних можна отримати рішення закритої форми:$\beta$

$\hat{\beta^r} = \frac{\hat{\beta}}{\hat{\beta} + \lambda}$ .

Як ви бачите, це може змінити знак вашого коефіцієнта, так що навіть інтерпретація розірветься.

Відповідь на ваше останнє запитання - це рівний НІ. Величина коефіцієнтів жодним чином не є мірою важливою. Ласо може використовуватися для логістичної регресії. Ви повинні вивчити цю область ретельніше. Методи, які потрібно вивчити, - це ті, що передбачають "покарані" методи. Якщо ви шукаєте способи виявлення, які розкривають «тіньові» прогноктори, термін, який десь може бути визначений, але не використовується загалом, тоді вам потрібно шукати методи, які перевірять взаємодію та нелінійну структуру в просторі передбачувача та підключення результатів до цього простору. У тексті Френка Гаррелла "Стратегії моделювання регресії" досить багато обговорюється цих питань та методів.

Відстала стратегія вибору не дасть дійсних результатів (хоча вона і дає результати). Якщо ви подивилися на випадок з 20 випадкових провісників на 100 подій, ви, ймовірно, знайдете 2 або 3, які будуть відібрані в процесі зворотного відбору. Поширеність відсталого вибору в реальному світі відображає не ретельну статистичну думку, а швидше його доступність у SAS та SPSS та недостатню складність бази користувачів цих продуктів. База користувачів R має більш важкий доступ до таких методів та користувачів, які розміщують запити у списках розсилки, і тому вони, як правило, отримують інформацію про проблеми, пов'язані із зворотним (або вперед) методом вибору.

Англійська мова не є моєю рідною мовою, тому я, можливо, не зрозумів, у чому полягає ваша проблема, але якщо вам потрібно знайти найкращу модель, ви можете спробувати скористатися зворотною процедурою (і, зрештою, додати наміри), починаючи з моделі з усіма коваріатами. Потім ви можете переглянути як залишкові значення і прогнозовані значення, так і графіки qq-графіку, щоб перевірити, чи добре модель описує ваше явище