Навіщо використовувати оцінки Lasso над оцінками OLS для ідентифікованого Лассо підмножини змінних?

Для регресії Лассо припустимо, найкраще рішення (наприклад, мінімальна помилка тестування) вибирає функції, так що \ hat {\ beta} ^ {lasso} = \ ліворуч (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ {lasso}, 0, ... 0 \ праворуч) .K β л и и про = ( β л з и про 1 , β л з и O 2 , . . . , β

Ми знаємо, що $\left(\hat{\beta}_1^{lasso},\hat{\beta}_2^{lasso},...,\hat{\beta}_k^{lasso}\right)$ є a упереджена оцінка $\left(\beta_1,\beta_2,...,\beta_k\right)$ , тож чому ми все-таки приймаємо $\hat{\beta}^{lasso}$ як остаточне рішення, а не більш "розумне" $\hat{\beta}^{new}=\left(\hat{\beta}_{1:k}^{new},0,...,0\right)$ , де $\hat{\beta}_{1:k}^{new}$ - оцінка LS з часткової моделі $L^{new}(\beta_{1:k})=(X_{1:k}\beta-y)'(X_{1:k}\beta-y)$ . ( $X_{1:k}$ позначає стовпці $X$ відповідні $k$ вибраним ознакам).

Коротше кажучи, чому ми використовуємо Lasso як для вибору функції, так і для оцінки параметрів, а не лише для вибору змінної (і залишаючи оцінку для вибраних функцій OLS)?

(Також, що означає, що "Лассо може вибрати не більше $n$ функцій"? $n$ - розмір вибірки.)

Я не вірю, що немає нічого поганого в тому, щоб використовувати LASSO для змінного вибору, а потім використовувати OLS. З " Елементи статистичного навчання " (стор. 91)

... усадка ласо призводить до того, що оцінки ненульових коефіцієнтів зміщуються до нуля, і вони взагалі не відповідають [ Додано Примітка. Це означає, що в міру збільшення розміру вибірки коефіцієнти не збігаються] . Один із підходів до зменшення цього зміщення - запустити ласо для виявлення набору ненульових коефіцієнтів, а потім підключити необмежену лінійну модель до вибраного набору ознак. Це не завжди можливо, якщо вибраний набір великий. Крім того, можна використовувати ласо для вибору набору ненульових предикторів, а потім застосувати ласо ще раз, але використовуючи лише вибрані предиктори з першого кроку. Це відомо як розслаблене ласо(Meinshausen, 2007). Ідея полягає у використанні перехресної перевірки для оцінки початкового параметра штрафу для ласо, а потім знову для другого параметра штрафу, застосованого до вибраного набору прогнозів. Оскільки змінні на другому кроці мають меншу "конкуренцію" від шумових змінних, перехресне підтвердження буде, як правило, вибирати менше значення для [штрафний параметр], а значить, їх коефіцієнти будуть зменшені менше, ніж у початковій оцінці.$\lambda$

Іншим розумним підходом, подібним за душею до розслабленого ласо, було б використання ласо один раз (або кілька разів у тандемі) для виявлення групи змінних прогнозованих кандидатів. Потім використовуйте найкращі регресії підмножини, щоб вибрати найкращі змінні прогнозувальника, які слід врахувати (також див. "Елементи статистичного навчання" для цього). Для цього вам потрібно буде уточнити групу передбачувачів кандидатів приблизно до 35, що не завжди буде здійсненним. Ви можете використовувати перехресну валідацію або AIC як критерій, щоб запобігти надмірному встановленню.

Якщо ваша мета - оптимальна продуктивність у вибірці (найвищий R-квадрат), тоді просто використовуйте OLS для кожної доступної змінної. Випадання змінних зменшить R-квадрат.

Якщо ваша мета - хороша позабіржова ефективність (що зазвичай набагато важливіше), то запропонована вами стратегія буде страждати від двох джерел перевиконання:

• Вибір змінних на основі кореляції зі змінною відповіді
• Оцінки OLS

Мета LASSO - зменшити оцінку параметрів до нуля, щоб боротися над двома джерелами перевиконання. Прогнози у вибірці завжди будуть гіршими, ніж OLS, але сподіваємось (залежно від сили пеналізації) отримати більш реалістичну поведінку поза вибіркою.

$p > n$$p > n$

Щодо питання ОП, чому Лассо може вибрати не більше n функцій:

Поміркуйте, чому OLS може бути упередженим: це коли прогнози ( p ) більше, ніж спостереження ( n ). Таким чином$X^{T}X$$\beta = (X^{T} X)^{-1}X^{T}Y$

$X^{T}X$