Коли я повинен використовувати ласо проти гребеня?

Скажімо, я хочу оцінити велику кількість параметрів, і я хочу штрафувати деякі з них, тому що я вважаю, що вони повинні мати незначний ефект у порівнянні з іншими. Як вирішити, яку схему штрафу використовувати? Коли регресія хребта більш доречна? Коли я повинен використовувати ласо?

Майте на увазі, що регресія хребта не може нульових коефіцієнтів; таким чином, ви або в кінцевому підсумку включаєте всі коефіцієнти в модель, або жоден з них. На відміну від цього, LASSO автоматично робить і зменшення параметрів, і вибір змінних. Якщо деякі ваші коваріати сильно корелюються, ви можете подивитися на пружну мережу [3] замість LASSO.

Я особисто рекомендую використовувати негативний гарот (NNG) [1], оскільки він є послідовним з точки зору оцінки та вибору змінних [2]. На відміну від LASSO та регресії хребта, СПГ вимагає початкової оцінки, яка потім зменшиться до початку походження. У первинному документі Брейман рекомендує рішення з найменшими квадратами для початкової оцінки (проте, можливо, ви захочете почати пошук з рішення регресійного регресу та використовувати щось на зразок GCV для вибору параметра покарання).

Щодо доступного програмного забезпечення, я реалізував оригінальний СПГ в MATLAB (заснований на оригінальному коді FORTRAN Breiman). Ви можете завантажити його з:

http://www.emakalic.org/blog/wp-content/uploads/2010/04/nngarotte.zip

До речі, якщо ви віддаєте перевагу байєсівському рішенню, ознайомтесь [4,5].

Список літератури:

[1] Брейман, Л. Краща регресія підмножини з використанням негативної технометрії Гаррота, 1995, 37, 373-384

[2] Юань, М. та Лін, Ю. Про невід'ємний оцінювач гаррот, Журнал Королівського статистичного товариства (серія B), 2007, 69, 143-161

[3] Зу, Х. та Хасті, Т. Регулялізація та вибір змін через еластичну мережу Журнал Королівського статистичного товариства (серія B), 2005, 67, 301-320

[4] Park, T. & Casella, G. The Bayesian Lasso Journal Американської статистичної асоціації, 2008, 103, 681-686

[5] Кюн, М.; Гілл, Дж .; Ghosh, M. & Casella, G. Penalized Regression, Standard Errors, і Bayesian Lassos Bayesian Analysis, 2010, 5, 369-412

Рідж або ласо - це форми регульованих лінійних регресій. Регуляризація також може бути інтерпретована як попередня в методі максимум післяорієнтовної оцінки. У цій інтерпретації хребет і ласо роблять різні припущення щодо класу лінійних перетворень, які вони роблять для співвідношення вхідних і вихідних даних. У хребті коефіцієнти лінійного перетворення розподіляються нормально, а в ласо - розподілені Лапласом. У "ласо" це полегшує значення коефіцієнтів, що дорівнюють нулю, а отже, простіше усунути частину вхідної змінної, оскільки вона не сприяє виводу.

Є також деякі практичні міркування. Хребет трохи простіший в реалізації та швидший обчислення, що може мати значення залежно від типу даних, які ви маєте.

Якщо ви обидва реалізовані, використовуйте підмножини даних, щоб знайти гребінь та ласо і порівняйте, наскільки добре вони працюють з залишеними даними. Помилки повинні дати вам уявлення про те, яким чином користуватися.

Як правило, коли у вас є багато ефектів малого / середнього розміру, вам слід йти з хребтом. Якщо у вас є лише кілька змінних із середнім / великим ефектом, перейдіть до ласо. Хасті, Тібшірані, Фрідман