Регресія в найменшій куті проти лассо

Регресія з найменшим кутом і ласо мають тенденцію до отримання дуже схожих контурів регуляризації (однакові за винятком випадків, коли коефіцієнт перетинає нуль.)

Вони обидва можуть ефективно підходити за допомогою практично однакових алгоритмів.

Чи є коли-небудь практичні причини віддати перевагу одному методу перед іншим?

Теореми "без вільного обіду" дозволяють припустити, що між алгоритмами статистичних висновків немає апріорних відмінностей, тобто, чи найкраще працює LARS або LASSO, залежить від характеру конкретного набору даних. На практиці тоді найкраще спробувати обидва та використати якийсь надійний оцінювач продуктивності узагальнення, щоб вирішити, який використовувати в роботі (або використовувати ансамбль). Оскільки відмінності між LARS та LASSO досить незначні, відмінності в продуктивності, ймовірно, також будуть невеликими, але в цілому існує лише один спосіб, як це точно дізнатися!

Застосовуючись у режимі, що відповідає стадії, алгоритм LARS - це жадібний метод, який не дає оцінювального послідовності, який є очевидно стійким (іншими словами, не збільшується до стабільного результату при збільшенні кількості вибірок).

І навпаки, LASSO (і, отже, алгоритм LARS при використанні в режимі LASSO) вирішує проблему встановлення опуклих даних. Зокрема, ця проблема (покараний лінійний оцінювач L1) має безліч приємних перевірених властивостей (консистенція, розрідженість).

Таким чином, я б намагався завжди використовувати LARS в режимі LASSO (або використовувати інший розв'язувач для LASSO), якщо у вас немає дуже вагомих причин віддати перевагу сценічному режиму.

LASSO - це не сам алгоритм, а оператор.

$\ell_1$

Ще один - LARS, дуже популярний через свою простоту, зв’язок із передовими процедурами (але не надто жадібними), дуже конструктивним доказом та легким узагальненням.

Навіть порівняно із найсучаснішими рішеннями квадратичного програмування, LARS може бути набагато ефективнішим.

$l_1$$l_1$$l_2$

Наміром цієї відповіді є вказати на те, що ЛАРС на сьогоднішній день, здається, заміщений методами координатного спуску та стохастичним координатним спусканням . Ці методи засновані на особливо простих алгоритмах, в той же час продуктивність здається вищою, ніж у LARS (часто на один-два порядки швидше). Для прикладів див. Цей документ Friedman et al.

Отже, якщо ви плануєте впровадити LARS, не робіть цього. Скористайтеся координатним спуском, який займає кілька годин.

$\lambda$

Ось моя думка:

$C_p$

Крім того, LARS обчислювально швидко і надійно. Лассо швидкий, але існує невелика різниця між алгоритмом, який змушує ЛАРС виграти виклик швидкості. З іншого боку, існують альтернативні пакети, наприклад, в R, звані 'glmnet', які працюють надійніше, ніж пакет lars (тому що він більш загальний).

Підводячи підсумок, немає нічого значущого, що можна було б врахувати щодо ларів та ласо. Це залежало від контексту, в якому ви збираєтеся використовувати модель.

Я особисто раджу використовувати glmnet в R як у високих, так і в низьких розмірних випадках. або якщо вас цікавлять різні критерії, ви можете використовувати http://cran.r-project.org/web/packages/msgps/ пакет.

У деяких контекстах може бути кращим урегульована версія рішення з найменшими квадратами. Алгоритм LASSO (найменш абсолютний оператор усадки та вибору), наприклад, знаходить рішення з найменшими квадратами з обмеженням, що | β | 1, L1-норма вектора параметра, не перевищує заданого значення. Рівнозначно, це може вирішити необмежену мінімізацію штрафу найменших квадратів з α | β | 1 додано, де α - константа (це лагранжева форма обмеженої задачі.) Ця проблема може бути вирішена за допомогою квадратичного програмування або більш загальних методів оптимізації опуклості, а також за допомогою конкретних алгоритмів, таких як алгоритм регресії найменшого кута. Регульована L1 рецептура є корисною в деяких контекстах через свою тенденцію віддавати перевагу рішенням з меншими значеннями ненульових параметрів, ефективно зменшуючи кількість змінних, від яких залежить дане рішення. [11] З цієї причини LASSO та його варіанти є основоположними для області стисненого зондування.