Інтерпретація коефіцієнтів регресії LASSO

Зараз я працюю над створенням прогнозної моделі для двійкового результату на наборі даних із ~ 300 змінними та 800 спостереженнями. Я багато читав на цьому сайті про проблеми, пов’язані з поетапною регресією, а чому б не використовувати її.

Я читав про регресію LASSO та її здатність до вибору особливостей і успішно реалізував її за допомогою пакету "caret" та "glmnet".

Я вмію витягувати коефіцієнт моделі з оптимальним lambdaі alphaз "карети"; однак мені невідомо, як інтерпретувати коефіцієнти.

Чи інтерпретуються коефіцієнти LASSO таким же методом, що і логістична регресія?
Чи було б доцільно використовувати функції, вибрані з LASSO, у логістичній регресії?

EDIT

Інтерпретація коефіцієнтів, як у коефіцієнтах експоненції з регресії LASSO, як часові шанси на зміну коефіцієнта на 1 одиницю, утримуючи всі інші коефіцієнти постійними.

https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-how-do-i-interpret-odds-ratios-in-logistic-regression/

— Майкл Луу
джерело

Чи можете ви трохи заповнити те, що ви маєте на увазі під «тлумаченням так само, як логістична регресія»? Мені буде дуже корисно точно знати, які інтерпретації ви хочете узагальнити.

— Меттью Друрі

@Matthew Drury - Дякую тобі за те, що знайшов час, щоб допомогти мені, оскільки мої курсові роботи ніколи не проходили LASSO. Взагалі, з того, що мене навчали під час моєї аспірантури, коефіцієнти коефіцієнта експоненції від логістичної регресії дають коефіцієнт збільшення коефіцієнта на 1 одиницю, утримуючи постійні всі інші коефіцієнти.

— Майкл Луу

У "caret" ви вибираєте та . Звідки походить ? Це, мабуть, гіперпараметр еластичної сітки (відносна вага ЛАССО в порівнянні зі штрафним штрафом) (у цьому випадку ви насправді використовуєте еластичну сітку, а не ЛАССО)?

α

$\alpha$

λ

$\lambda$

α

$\alpha$

— Річард Харді

Наскільки я можу сказати, тестування значущості на коефіцієнти не було запроваджено в більшості реалізацій LASSO. Отже, чи не може бути різниці, що, хоча ми можемо визначити статистично значущі змінні в OLS, ми не можемо зробити це з LASSO, за винятком слабшого твердження, що вибрані коефіцієнти LASSO відповідних змінних є "важливими" змінними, які слід враховувати?

— Швидкість подій

Чи інтерпретуються коефіцієнти LASSO таким же методом, що і логістична регресія?

Дозвольте перефразувати: чи інтерпретуються коефіцієнти LASSO так само, як, наприклад, максимальні коефіцієнти ймовірності ~~OLS~~ в логістичній регресії?

LASSO (метод пенізованого оцінювання) має на меті оцінити ті самі величини (модельні коефіцієнти), як, скажімо, максимальна ймовірність ~~OLS~~ (метод, що не застосовується до уваги). Модель однакова, а інтерпретація залишається такою ж. Чисельні значення від LASSO зазвичай відрізнятимуться від максимальної ймовірності ~~OLS~~ : одні будуть ближче до нуля, інші - точно до нуля. Якщо застосовано розумний розмір штрафу, оцінки LASSO будуть ближче до справжніх значень, ніж максимальна ймовірність ~~OLS~~ , що є бажаним результатом.

Чи було б доцільно використовувати функції, вибрані з LASSO, у логістичній регресії?

З цим немає ніякої притаманної проблеми, але ви можете використовувати LASSO не тільки для вибору особливостей, але і для оцінки коефіцієнта. Як я вже згадував вище, оцінки LASSO можуть бути більш точними, ніж, скажімо, оцінки максимальної ймовірності ~~OLS~~ .

— Річард Харді
джерело

Дуже дякую за цю відповідь! Робить багато сенсу! Вибачте, будь ласка, мої обмежені знання з цього питання. Як ви вже згадували в іншому коментарі, я, можливо, використовую еластичну сітку, а не LASSO через карету, оскільки вона вибирає оптимальні лямбда та альфа. Чи те ж саме стосуватиметься коефіцієнтів?

— Майкл Луу

Так, було б. Основна логіка залишається тією ж.

— Річард Харді

Ви пишете "тлумачення залишається тим самим". Не могли б ви допомогти мені зрозуміти цей момент? Мені здається, що інтерпретація коефіцієнтів OLS в режимі множинної регресії спирається на часткові графіки регресії . Однак ця властивість не відповідає коефіцієнтам ласо, що змушує мене вважати, що інтерпретація була б іншою.

— користувач795305

@Ben, Якщо припустити основу статистичної моделі, ми можемо оцінювати її параметри різними способами, двома популярними - OLS та lasso. Оцінені коефіцієнти орієнтовані на однакові цілі, і обидва мають деяку похибку оцінювання (яка, якщо їх квадрат, може бути розкладена на зміщення та дисперсію), тому в цьому сенсі їх інтерпретація однакова. Тепер, звичайно, методи не однакові, тому ви отримуєте різні оцінені значення коефіцієнта. Якщо ви дбаєте про методи та їх алгебраїчні та геометричні інтерпретації, то це не те саме. Але предметні тлумачення однакові.

— Річард Харді

@RichardHardy Ага, гаразд, я думаю, я краще розумію, що ти говориш. Безумовно, правда, що ласо може перемогти OLS в помилках оцінки, але, наприкінці дня, як ви кажете, це лише оцінки за тією ж ціллю. Чи трактується будь-який оцінювач так само, як інтерпретується OLS? Наприклад, чи інтерпретується (не випадкова) оцінка ? або оцінювач з iid рівномірними (0,1) записами? (тощо) мені здається, що властивості оцінювача потрібно безпосередньо використовувати в його інтерпретації, і навіть інтерпретації предмета можуть змінитися.

(1, \dots, p)^{T}

$(1, \dots, p)^T$

— user795305