Наскільки виправданим є вибір

11

Коли я визначаю свою лямбда через перехресну перевірку, всі коефіцієнти стають нульовими. Але у мене є деякі натяки з літератури про те, що деякі прогнози обов'язково повинні вплинути на результат. Чи сміття довільно вибирати лямбда, щоб було стільки ж рідкості, скільки бажається?

Я хочу вибрати топ-10 прогнозів з 135 для моделі Кокса, а розміри ефектів, на жаль, невеликі.

lasso

— міура
джерело

6

Здається, ви повинні використовувати інформаційний попередній характер, оскільки у вас є інформація, що не базується на даних.

— ймовірністьлогічний

В глибині душі я відчуваю, що це було б правильно, на жаль, мені зовсім не вистачає статистичної майстерності, щоб навіть зараз почати це робити.

— miura

1

Ви, мабуть, плутаєте дві різні речі: (1) Якщо література говорить вам про використання конкретних прогнозів, то включіть їх у всі моделі. (2) Натомість ви, здається, повторно трактуєте це як вказівку, що вам слід вибрати певну кількість із багатьох прогнозів, незалежно від того, чи включають вони конкретні згадані в літературі. Не могли б ви пояснити, що ви насправді намагаєтесь досягти?

— whuber

4

p (β_{i}) = \frac{λ}{2} exp (- λ | β_{i} |),

$p(\beta_i)=\frac{\lambda}{2}\text{exp}\left(-\lambda|\beta_i|\right),$

λ

$\lambda$

— Нестор
джерело

3

Існує хороший спосіб виконати LASSO, але використовувати фіксовану кількість предикторів. Це регресія з найменшим кутом (LAR або LARS), описана в роботі Ефрона. Під час ітеративної процедури він створює ряд лінійних моделей, у кожної нової є ще один предиктор, тож ви можете вибрати одну з бажаною кількістю предикторів.

$l_1$ $l_2$

— Олексій Зайцев
джерело

3

Хоча LARS та ласо тісно пов'язані, для фіксованої кількості предикторів вони можуть навіть не включати однакові змінні. Можна вибрати на величину штрафу за ласо , яке дає потрібну кількість провісників, але вибір ні в тому, ні в іншому випадку буде унікальним! Отже, ОП ще не запропонувала чітко визначеної процедури, що є частиною проблеми. Для LARS є приємна вигода, що значення штрафних санкцій, що дають певну кількість предикторів, утворюють інтервал, тому вибір кінцевої точки (якої?) Або середини чи якогось іншого критерію є дещо простішим.

— кардинал

1

Так, правда, що LARS та LASSO не є тотожними, але проста модифікація LARS, запропонована авторами в оригінальній статті, може бути введена для отримання рішень LASSO з використанням методики на основі LARS.

— Олексій Зайцев

Так, Олексій, це правда. Я думаю, мій коментар обертається навколо того, чому в першу чергу переходити до ЛАРС. Зазвичай можна так само легко вибрати значення параметра штрафу для ласо, що дає бажану кількість прогнозів. Основний момент, що не залишається без уваги, - це як слід робити унікальний відбір та наслідки, які можуть бути у випадку з ОП. :)

— кардинал

2

$\left| S^* \right| = \left| \left\{ j : \beta^*_j \neq 0 \right\} \right|$ $\beta^*$ $|S^*|$ $2^p$ $|S^*|$ ${p \choose |S^*|}$ моделей, що набагато менше.

Теорія ласо покладається на те, що параметр регуляризації є достатньо великим, щоб зробити обрану модель достатньо рідкою. Можливо, ваших 10 можливостей занадто багато або занадто мало, оскільки не тривіально перетворювати нижню межу на у верхню межу на. $\lambda$ $\lambda$ $|S^*|$

Нехай - наша оцінка даних для , і покладемо . Тоді, можливо, ви намагаєтеся переконатися, що щоб ви відновили принаймні відповідні функції? Або, можливо, ви намагаєтесь встановити, що щоб ви знали, що знайдені вами функції цінні? У цих випадках ваша процедура була б більш виправданою, якби ви мали попередню інформацію про відносні розміри . $\hat\beta$ $\beta^*$ $\hat{S} = \{j \, : \, \hat\beta_j \neq 0 \}$ $S^* \subseteq \hat{S}$ $\hat{S} \subseteq S^*$ $S^*$

Крім того , зверніть увагу, що ви можете залишити деякі коефіцієнти unpenalized при виконанні ласо в, наприклад, glmnet.

— користувач795305
джерело