Чому покарання за Лассо еквівалентно подвійній експоненції (Лапласу)?

27

Я читав у ряді посилань, що оцінка Лассо для вектора параметра регресії $B$ еквівалентна задньому режиму $B$ в якому попередній розподіл для кожного $B_i$ є подвійним експоненціальним розподілом (також відомим як розподіл Лапласа).

Я намагався це довести, чи може хтось деталізувати деталі?

— Вінтермут
джерело

@ user777 Я сьогодні переглянув цю книгу. Не вдалося знайти щось відповідне.

— Вінтермут

3

Пов’язано: stats.stackexchange.com/questions/177210/…

— Тім

30

Для простоти розглянемо лише одне спостереження змінної таке, що $Y$

Y | мк, σ^{2} \sim N (мк, σ^{2}),

$Y|\mu, \sigma^2 \sim N(\mu, \sigma^2),$

і неправильне попереднє . $\mu \sim \mbox{Laplace}(\lambda)$ $f(\sigma) \propto \mathbb{1}_{\sigma>0}$

Тоді щільність суглоба пропорційна $Y, \mu, \sigma^2$

f (Y, мк, σ^{2} | λ) \propto \frac{1}{σ} досвід (- \frac{(у - мк)^{2}}{σ^{2}}) \times 2 λ е^{- λ | мк |} .

$f(Y, \mu, \sigma^2 | \lambda) \propto \frac{1}{\sigma}\exp \left(-\frac{(y-\mu)^2}{\sigma^2} \right) \times 2\lambda e^{-\lambda \vert \mu \vert}.$

Взяття журналу та відкидання термінів, що не включають , $\mu$

журнал f (Y, мк, σ^{2}) = - \frac{1}{σ^{2}} ‖ у - мк ‖_{2}^{2} - λ | мк | . (1)

$\log f(Y, \mu, \sigma^2) = -\frac{1}{\sigma^2} \Vert y-\mu\Vert_2^2 -\lambda \vert \mu \vert. \quad (1)$

Таким чином, максимум (1) буде оцінкою ПДЧ і справді є проблемою Лассо після того, як ми перепраметризуємо . $\tilde \lambda = \lambda \sigma^2$

Розширення до регресії зрозуміло - замініть на за нормальної ймовірності, а попередній на встановіть послідовністю незалежних розподілів лапласа . $\mu$ $X\beta$ $\beta$ $(\lambda)$

— Андрій М
джерело

25

Це очевидно, перевіривши кількість, яку оптимізує LASSO.

Візьміть за пріоритет незалежний Лаплас із середнім нулем та деякою шкалою . $\beta_i$ $\tau$

Тож . $p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

Модель для даних є звичайним припущенням регресії . $y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

Тепер мінус удвічі більший за розміром журнал задньої частини

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

Let $\lambda=\sigma^2/\tau$ and we get $-2\log$ -posterior of

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

The MAP estimator for $\beta$ minimizes the above, which minimizes

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

So the MAP estimator for $\beta$ is LASSO.

(Here I treated $\sigma^2$ as effectively fixed but you can do other things with it and still get LASSO coming out.)

Edit: That's what I get for composing an answer off line; I didn't see a good answer was already posted by Andrew. Mine really doesn't do anything his doesn't do already. I'll leave mine for now because it gives a couple more details of the development in terms of $\beta$ .

— Glen_b -Reinstate Monica
джерело

1

There seems to be a difference in your answer and Andrew's. Your answer has the correct form of the regularizer:

λ ‖ β ‖_{1}

$\lambda \|\beta\|_1$ , whereas Andrew has

λ | μ |

$\lambda |\mu|$ , where in linear regression, we get

μ = X β

$\mu=X\beta$ .

— Alex R.

2

@AlexR I think you're misinterpreting the μ in Andrew's answer. The μ there corresponds to a

β_{0}

$\beta_0$ in a regression with only an intercept, not to

X β

$X\beta$ in a multiple regression; the same argument follows for the larger case (note the parallels with my answer) but it's easier to follow in the simple case. Andrew's answer is essentially right but doesn't connect all the dots to the original question, leaving a small amount for the reader to fill in. I think our answers are consistent (up to some minor differences relating to σ that can be accounted for) and that he fully deserved the tick

— Glen_b -Reinstate Monica