Чому Lasso або ElasticNet працюють краще, ніж Ridge, коли функції співвідносяться

У мене є набір з 150 функцій, і багато з них сильно співвідносяться між собою. Моя мета - передбачити значення дискретної змінної, діапазон якої становить 1-8 . Розмір мого зразка - 550 , і я використовую 10-кратну перехресну перевірку.

AFAIK серед методів регуляризації (Lasso, ElasticNet і Ridge), Ridge більш жорсткий до кореляції між особливостями. Тому я очікував, що з Ріджем мені слід отримати більш точний прогноз. Однак мої результати показують, що середня абсолютна похибка Лассо або Еластики становить приблизно 0,61, тоді як цей показник становить 0,97 за регресію хребта. Цікаво, що було б поясненням цього. Це тому, що у мене багато можливостей, а Лассо працює краще, тому що робить своєрідний вибір функцій, позбавляючись від зайвих функцій?

Припустимо, у вас є дві сильно корельовані змінні предиктора , і припустимо, що обидві центрируються та масштабуються (означають нуль, дисперсія одна). Тоді гряда санкція вектора параметрів є β 2 1 + β 2 2 в той час як термін ласо штрафу | β 1 | + | β 2 | . Тепер, оскільки модель повинна бути високолінійною, так що x і z більш-менш можуть підміняти один одного в передбаченні Y , так багато лінійних комбінацій x , z, де ми просто заміщаємо частково$x,z$$\beta_1^2 + \beta_2^2$$\mid \beta_1 \mid + \mid \beta_2 \mid$$x$$z$$Y$$x, z$ для z буде працювати так само, як і предиктори, наприклад, 0,2 x + 0,8 x , 0,3 x + 0,7 z або 0,5 x + 0,5 $x$$z$$0.2 x + 0.8 x, 0.3 x + 0.7 z$$0.5 x + 0.5 z$буде приблизно так само хороший, як і прогнози. Тепер погляньте на ці три приклади: ласовий штраф у всіх трьох випадках є рівним, він дорівнює 1, тоді як покарання за гребеня відрізняються, це відповідно 0,68, 0,58, 0,5, тому покарання за гребінь буде віддавати перевагу рівній вазі колінарних змінних, а ласовий штраф не зможе вибрати. Це одна з причин, що гребінь (або, загалом, еластична сітка, яка є лінійною комбінацією ласових та гребінних штрафних санкцій) буде краще працювати з колінарними передбачувачами: Коли дані дають мало причин для вибору між різними лінійними комбінаціями колінарних передбачувачів, ласо буде просто "бродити", коли хребет прагне вибирати рівну вагу. Останнє може бути кращою здогадкою для використання з майбутніми даними! І якщо це так з нинішніми даними, це може виявитись у перехресній валідації як кращі результати з гребенем.

Ми можемо розглянути це байєсським способом: хребет та ласо передбачає різну попередню інформацію, і попередня інформація, яку має на увазі хребет, є більш розумною у таких ситуаціях. (Це пояснення тут я дізнався більш-менш з книги: "Статистичне навчання з рідкістю" Лассо і узагальнення "Тревора Хасті, Роберта Тібширані та Мартіна Уейнрайта, але в цей момент я не зміг знайти пряму цитату).

Найважливіша відмінність ласо від хребта полягає в тому, що ласо природно здійснює відбір, особливо там, де коваріати дуже корелюють. неможливо бути справді впевненим, не бачивши пристосованих коефіцієнтів, але легко подумати, що серед цих корельованих особливостей багато хто були просто марними.