Чи існує байєсова інтерпретація лінійної регресії з одночасною регуляризацією L1 та L2 (також пружна сітка)?

Добре відомо, що лінійна регресія з покаранням еквівалентна знаходженню оцінки ПДЧ, заданої Гауссовим попереднім коефіцієнтом. Аналогічно, використання штрафу еквівалентно використанню розподілу Лапласа як попереднього. $l^2$ $l^1$

Не рідкість використання деякої зваженої комбінації регуляризації та . Чи можемо ми сказати, що це еквівалентно деякому попередньому розподілу коефіцієнтів (інтуїтивно, здається, що це повинно бути)? Чи можемо ми надати цьому розподілу приємну аналітичну форму (можливо, суміш Гаусса та Лаплачія)? Якщо ні, то чому б і ні? $l^1$ $l^2$

— Майкл Каррі
джерело

дивіться цей документ: tandfonline.com/doi/abs/10.1198/jasa.2011.tm09241 (Якщо через тиждень-другий не буде відповідено належним чином, я опублікую (більш-менш) підсумок цього документу)

— user795305

Я хотів би додати , що весь час frequentists має штраф

, байєсовські може інтерпретувати це як (можливо неправильний) перед

при стандартній гаусом моделі.

p e n

$pen$

e^{- p e n}

$e^{-pen}$

— користувач795305

дякую, цей документ та його цитати чудово відповідають на моє запитання!

— Майкл Керрі

Чудово! Ви проти зазначати, які цитати ви маєте на увазі? (

— Планую

Гаразд, круто! Я думаю, що їхня байєсівська інтерпретація пов'язана з моїм другим коментарем

— user795305

Зауваження Бена, ймовірно, достатньо, але я надаю ще кілька посилань, одне з яких - до того, як згаданий документ, на який Бен посилався.

$\beta$ було правильно, автори неправильно записали подання суміші.

Поправлена байєсівська модель для пружної сітки нещодавно була запропонована Роєм та Чакраборті (їх рівняння 6). Автори також продовжують представляти відповідний пробовідбірник Гіббса для відбору проб із заднього розподілу та показують, що пробовідбірник Гіббса переходить до стаціонарного розподілу з геометричною швидкістю. З цієї причини ці довідки можуть виявитися корисними, крім документа Ганса .

— Грінпаркер
джерело

(+1) Чудова відповідь!

— user795305

для будь-кого у майбутньому - усі документи варто переглянути, але робота Ганса дає вам кілька пробовідбірників Гіббса для різних розповсюджень, а також ієрархічне подання попереднього, яке можна легко перевести на Стен.

— Майкл Керрі