Чому найкращому вибору підмножини не сприяє порівняно з ласо?

Я читаю про найкращий вибір підмножини в книзі «Елементи статистичної книги». Якщо у мене є 3 предиктори , я створюю підмножини:2 3 = $x_1,x_2,x_3$$2^3=8$

1. Підмножина без прогнозів
2. підмножина з предиктором$x_1$
3. підмножина з предиктором$x_2$
4. підмножина з предиктором$x_3$
5. підмножина з предикторами$x_1,x_2$
6. підмножина з предикторами$x_1,x_3$
7. підмножина з предикторами$x_2,x_3$
8. підмножина з предикторами$x_1,x_2,x_3$

Потім я перевіряю всі ці моделі на тестових даних, щоб вибрати найкращу.

Тепер моє запитання: чому найкращому вибору підмножини не сприяє порівняно, наприклад, ласо?

Якщо я порівнюю порогові функції кращого підмножини та ласо, я бачу, що найкраще підмножина встановлює деякі коефіцієнти до нуля, як ласо. Але, інший коефіцієнт (ненульовий) все ще матиме значення ols, вони будуть невідмінними. Тоді як в ласо деякі коефіцієнти будуть дорівнювати нулю, а інші (ненульові) матимуть деякий зміщення. На малюнку нижче показано це краще:

З малюнка частина червоної лінії в кращому випадку підмножини лежить на сірій. Інша частина прокладається по осі x, де деякі коефіцієнти дорівнюють нулю. Сіра лінія визначає неупереджені рішення. У лассо деякі упередження вводяться . З цієї цифри я бачу, що найкраще підмножина краще за ласо! Які недоліки використання кращого підмножини?$\lambda$

У підборі підмножини ненульові параметри будуть об'єктивними лише у тому випадку, якщо ви вибрали надмножину правильної моделі, тобто якщо ви видалили лише прогнози, справжні значення яких дорівнюють нулю. Якщо ваша процедура відбору призвела до виключення прогнозувача з справжнім ненульовим коефіцієнтом, усі оцінки коефіцієнтів будуть упередженими. Це перемагає ваш аргумент, якщо ви згодні, що вибір зазвичай не є ідеальним.

Таким чином, щоб "переконатися" в неупередженій оцінці моделі, вам слід помилитися з боку включення більше, або навіть усіх потенційно релевантних прогнозів. Тобто вибирати взагалі не слід.

Чому це погана ідея? Через упередження-дисперсію компромісу. Так, ваша велика модель буде неупереджена, але вона матиме велику дисперсію, і дисперсія буде домінувати в помилці передбачення (або іншої).

Тому краще прийняти, що оцінки параметрів будуть упередженими, але матимуть меншу дисперсію (регуляризацію), ніж сподіватися, що наш підбір підмножини видалив лише справжні нульові параметри, тому у нас є об'єктивна модель з більшою дисперсією.

$\lambda$$\lambda_0$$p$$\lambda$$\lambda_0$$\hat{\beta}_p$$\hat{\beta}_p=0$$\hat{\beta}_p=\hat{\beta}_p^{\text{OLS}}$

Це може бути корисним: Чому працює усадка?

У принципі, якщо найкраще підмножину можна знайти, воно дійсно краще, ніж LASSO, з точки зору (1) вибору змінних, які насправді сприяють придатності, (2) не вибору змінних, які не сприяють придатності, (3) точність прогнозування та (4) надання по суті неупереджених оцінок для вибраних змінних. Один недавній документ, який стверджував про кращу якість найкращої підмножини над LASSO, - це те, що Берцімас та ін (2016) Берцимаса та ін (2016) висловили "Найкращий вибір підмножини через сучасний оптимізаційний об'єктив" . Ще один старший, який дає конкретний приклад (щодо деконволюції шипових поїздів), де краща підмножина була кращою, ніж LASSO або хребет, - де Rooi & Eilers (2011).

$L_0$$L_1$$L_0$$L_q$норма пенізованої регресії з q близькою до 0 в принципі була б ближчою до вибору найкращої підмножини, ніж LASSO, але це вже не проблема опуклої оптимізації, і тому досить складно підходити ).

Для зменшення зміщення LASSO можна використовувати похідні багатоступінчасті підходи, такі як адаптивний LASSO (де коефіцієнти диференційовано караються на основі попередньої оцінки з мінімум квадратів або регресії хребта) або розслаблений LASSO (просте рішення - робити найменші квадрати, відповідні змінним, вибраним LASSO). У порівнянні з найкращим підмножиною, LASSO, як правило, вибирає трохи занадто багато змінних. Кращий вибір підмножини краще, але складніше підходить.

$L_0$надає широке порівняння найкращої підмножини, LASSO та деяких варіантів LASSO, таких як розслаблений LASSO, і вони стверджують, що розслаблений LASSO був тим, хто виробляв найвищу точність прогнозування моделей при найширшому діапазоні обставин, тобто вони прийшли до іншого висновку, ніж Берцімас. Але висновок про те, що найкраще, багато в чому залежить від того, що ви вважаєте найкращим (наприклад, найвища точність прогнозування або найкраще підбирати відповідні змінні та не включати невідповідні; регресія хребта, наприклад, зазвичай вибирає занадто багато змінних, але точність прогнозування для випадків із Висококолінеарні змінні все-таки можуть бути дуже хорошими).

Для дуже маленької проблеми з 3 змінними, як ви описуєте, очевидно, найкращий вибір підмножини є кращим варіантом.