Регуляризація L2 еквівалентна пріоритету Гаусса

56

Я продовжую читати це і інтуїтивно можу це бачити, але як можна перейти від регуляризації L2 до того, що аналітично це Гаос-пріор? Те саме говорить і те, що L1 еквівалентний попередньому Лапласану.

Будь-які подальші посилання були б чудовими.

regression references regularization

— Анонімний
джерело

54

Уявімо собі, що ви хочете зробити деякий параметр з деяких спостережуваних пар вхід-вихід . Припустимо, що виходи лінійно пов'язані з входами через і що дані пошкоджені деяким шумом : $\beta$ $(x_1,y_1)\dots,(x_N,y_N)$ $\beta$ $\epsilon$

y_{n} = β x_{n} + ϵ,

$y_n = \beta x_n + \epsilon,$

де - гауссовий шум із середнім значенням та дисперсією . Це породжує ймовірність Гаусса: $\epsilon$ $0$ $\sigma^2$

\prod_{n = 1}^{N} N (y_{n} | β x_{n}, σ^{2}) .

$\prod_{n=1}^N \mathcal{N}(y_n|\beta x_n,\sigma^2).$

Давайте регулюємо параметр , наклавши пріоритет Гаусса де - строго позитивний скаляр. Отже, поєднуючи ймовірність і попереднє, ми просто маємо: $\beta$ $\mathcal{N}(\beta|0,\lambda^{-1}),$ $\lambda$

\prod_{n = 1}^{N} N (y_{n} | β x_{n}, σ^{2}) N (β | 0, λ^{- 1}) .

$\prod_{n=1}^N \mathcal{N}(y_n|\beta x_n,\sigma^2) \mathcal{N}(\beta|0,\lambda^{-1}).$

Візьмемо логарифм наведеного виразу. Відкидаючи деякі константи, ми отримуємо:

\sum_{n = 1}^{N} - \frac{1}{σ^{2}} (y_{n} - β x_{n})^{2} - λ β^{2} + const .

$\sum_{n=1}^N -\frac{1}{\sigma^2}(y_n-\beta x_n)^2 - \lambda \beta^2 + \mbox{const}.$

Якщо ми максимізуємо вищенаведений вираз стосовно , ми отримаємо так звану максимальну a-posteriori оцінку для , або MAP для коротких. У цьому виразі стає очевидним, чому Гауссова попередня може бути інтерпретована як термін регуляризації L2. $\beta$ $\beta$

Так само взаємозв'язок між нормою L1 та попереднім Лапласом можна зрозуміти однаково. Візьміть замість Гаусса пріоритет, а Лаплас попередньо поєднайте його зі своєю ймовірністю та візьміть логарифм.

Хорошим посиланням (можливо, дещо вдосконаленим), в якому детально описані обидва питання, є документ "Адаптивна розрідженість для контрольованого навчання", який наразі в Інтернеті не так легко знайти. Альтернативно подивіться на "Адаптивна розрідженість за допомогою Джефріса Пріор" . Ще одна хороша довідка - "Про байєсівську класифікацію з пріорами Лапласа" .

— ngiann
джерело

1

У D dimensionлінійної регресії випадку може betaі sigmaмати явні рішення? Я читаю PRML і знаходжу рівняння (1.67) на сторінці 30 і не знаю, як його вирішити. З максимальною ймовірністю вирішуємо, betaа потім sigmaвстановлюючи градієнт до нуля. У регуляризованому найменшому квадраті, оскільки lambdaвідомий параметр рекларизації , ми вирішуємо betaбезпосередньо. Але якщо ми безпосередньо вирішити ПДЧ, що порядок вирішення beta, sigma? Чи можуть вони мати чітке рішення або ми повинні використовувати ітераційний процес?

— стік потоку

Ви пропускаєте "квадрат" на в останньому рівнянні, тобто ?

λ β

$\lambda \beta$

λ β^{2}

$\lambda \beta^2$

— brian.keng

@AdamO Обмежує кількість значень, які можуть приймати коефіцієнти. Якщо, наприклад, попередній показник становить від 1 до 10, то існує ймовірність коефіцієнта, який приймає будь-яке інше значення, тобто [-inf до 1] та [10, + inf].

— imsrgadich

1

У цьому випадку відомий. Чи працює, коли невідомо? Для лінійної регресії Баєса, для формування кон'югату перед дисперсією може бути використана інверсна гамма-діаграма. Але я не впевнений, що алгебра складе той самий вираз.

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

— АдамО

11

Для лінійної моделі з багатоваріантною нормальною попередньою і багатоваріантною нормальною ймовірністю ви закінчуєте багатоваріантний нормальний задній розподіл, в якому середнє значення задньої (і максимум моделі післяоріорі) саме те, що ви отримали б за допомогою регульованого Тихонова ( регуляризовані) найменші квадрати з відповідним параметром регуляризації. $L_{2}$

Зауважимо, що існує більш принципова відмінність у тому, що байєсівська задня частина є розподілом вірогідності, тоді як рішення тихоновських регульованих найменших квадратів - це конкретна точкова оцінка.

Про це йдеться в багатьох підручниках про байєсівські методи зворотних задач.

http://www.amazon.com/Inverse-Problem-Methods-Parameter-Estimation/dp/0898715725/

http://www.amazon.com/Parameter-Estimation-Inverse-Problems-Second/dp/0123850487/

Аналогічно, якщо у вас є лапласіанська раніше і багатоваріантна нормальна ймовірність, то максимум заднього розподілу відбувається в точці, яку ви могли отримати, вирішивши задачу мінімальними квадратними розмірами. $L_{1}$

— Брайан Борчерс
джерело

9

Перше зауважте, що медіана мінімізує норму L1 (див. Тут або тут, щоб дізнатися більше про L1 та L2)

median (x) = \underset{s}{a r g m i n} \sum_{i} | x_{i} - s |^{1}

$\DeclareMathOperator*{\argmin}{arg\,min} \text{median}(x) = \argmin_s \sum_i |x_i - s|^1$

при цьому середнє значення мінімізує L2

mean (x) = \underset{s}{a r g m i n} \sum_{i} | x_{i} - s |^{2}

$\text{mean}(x) = \argmin_s \sum_i |x_i - s|^2$

Тепер нагадаємо, що параметр нормальних розподілів можна оцінити, використовуючи середнє значення вибірки , тоді як оцінка MLE для параметра розподілу Laplace є середньою. Тож використання нормального розподілу еквівалентно оптимізації норми L2 та використанню розподілу Лапласа, використанню оптимізації L1. На практиці ви можете думати про це як про те, що медіана менш чутлива до середніх, ніж середня, і те саме, використання попередньо розподіленого Лапласа розподілу вашої моделі робить вашу модель менш схильною до людей, ніж використання нормальних. $\mu$ $\mu$

Hurley, WJ (2009) Індуктивний підхід до обчислення MLE для подвійного експоненціального розподілу . Журнал сучасних прикладних статистичних методів: 8 (2), стаття 25.

— Тім
джерело

Можливо, це не найточніша математично відповідь, дана тут, але це, безумовно, найпростіша, найінтуїтивніша для початківця в регуляризації L1 / L2 для розуміння.

— SQLServerSteve

8

Для проблеми регресії з змінними (без перехоплення) ви робите OLS як $k$

min_{β} (y - X β)^{'} (y - X β)

$\min_{\beta} (y - X \beta)' (y - X \beta)$

У регульованій регресії з покаранням ви виконуєте $L^p$

min_{β} (y - X β)^{'} (y - X β) + λ \sum_{i = 1}^{k} | β_{i} |^{p}

$\min_{\beta} (y - X \beta)' (y - X \beta) + \lambda \sum_{i=1}^k |\beta_i|^p$

Ми можемо рівнозначно робити (зазначити зміни знаку)

max_{β} - (y - X β)^{'} (y - X β) - λ \sum_{i = 1}^{k} | β_{i} |^{p}

$\max_{\beta} -(y - X \beta)' (y - X \beta) - \lambda \sum_{i=1}^k |\beta_i|^p$

Це безпосередньо стосується байєсівського принципу Росії

p o s t e r i o r \propto l i k e l i h o o d \times p r i o r

$posterior \propto likelihood \times prior$

або еквівалентно (за умов регулярності)

l o g (p o s t e r i o r) \sim l o g (l i k e l i h o o d) + l o g (p e n a l t y)

$log(posterior) \sim log(likelihood) + log(penalty)$

Зараз не важко зрозуміти, який експоненціальний розподіл сім'ї відповідає якому виду покарання.

— Георг М. Герг
джерело

3

Точніше кажучи:

Оптимізація вагових моделей для мінімізації функції втрат у квадраті помилок з регуляризацією L2 еквівалентна знаходженню ваг, які, швидше за все, під задньою розподілом, оціненими за правилом Байєса, з попередньою нульовою середньою незалежністю Гаусса

Доказ:

Функцію втрат, як описано вище, надавали б

L = \underset{O r i g i n a l l o s s f u n c t i o n}{\underset{⏟}{[\sum_{n = 1}^{N} (y^{(n)} - f_{w} (x^{(n)}))^{2}]}} + \underset{L_{2} l o s s}{\underset{⏟}{λ \sum_{i = 1}^{K} w_{i}^{2}}}

$L = \underbrace{\Big[ \sum_{n=1}^{N} (y^{(n)} - f_{\mathbf{w}}(\mathbf{x}^{(n)}))^{2} \Big] }_{Original \; loss \; function} + \underbrace{\lambda \sum_{i=1}^{K} w_{i}^{2}}_{L_{2} \; loss}$

Зверніть увагу, що розподіл для багатоваріантного Гаусса є

N (x; μ, Σ) = \frac{1}{(2 π)^{D / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x - μ)^{⊤} Σ^{- 1} (x - μ))

$\mathcal{N}(\mathbf{x}; \mathbf{\mu}, \Sigma) = \frac{1}{(2 \pi)^{D/2}|\Sigma|^{1/2}} \exp\Big(-\frac{1}{2} (\mathbf{x} -\mathbf{\mu})^{\top} \Sigma^{-1} (\mathbf{x} -\mathbf{\mu})\Big)$

Використовуючи правило Байєса, ми маємо це

\begin{aligned} p (w | D) & = \frac{p (D | w) p (w)}{p (D)} \\ \propto p (D | w) p (w) \\ \propto [\prod_{n}^{N} N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2})] N (w; 0, σ_{w}^{2} I) \\ \propto \prod_{n}^{N} N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2}) \prod_{i = 1}^{K} N (w_{i}; 0, σ_{w}^{2}) \end{aligned}

$\begin{split} p(\mathbf{w}|\mathcal{D}) &= \frac{p(\mathcal{D}|\mathbf{w}) \; p(\mathbf{w})}{p(\mathcal{D})}\newline &\propto p(\mathcal{D}|\mathbf{w}) \; p(\mathbf{w})\newline &\propto \Big[ \prod_{n}^{N} \mathcal{N}(y^{(n)}; f_{\mathbf{w}}(\mathbf{x}^{(n)}), \sigma_{y}^{2})\Big] \; \mathcal{N}(\mathbf{w}; \mathbf{0}, \sigma_{\mathbf{w}}^{2} \mathbb{I})\newline &\propto \prod_{n}^{N} \mathcal{N}(y^{(n)};f_{\mathbf{w}}(\mathbf{x}^{(n)}) , \sigma_{y}^{2}) \prod_{i=1}^{K} \mathcal{N}(w_{i}; \, 0, \, \sigma_{\mathbf{w}}^{2}) \newline \end{split}$

Де ми можемо розділити багатовимірний Гаассіан на продукт, оскільки коваріація є кратною матриці тотожності.

Візьміть негативну ймовірність журналу

\begin{aligned} - \log [p (w | D)] & = - \sum_{n = 1}^{N} \log [N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2})] - \sum_{i = 1}^{K} \log [N (w_{i}; 0, σ_{w}^{2})] + c o n s t . \\ = \frac{1}{2 σ_{y}^{2}} \sum_{n = 1}^{N} (y^{(n)} - f_{w} (x^{(n)}))^{2} + \frac{1}{2 σ_{w}^{2}} \sum_{i = 1}^{K} w_{i}^{2} + c o n s t . \end{aligned}

$\begin{split} -\log \big[p(\mathbf{w}|\mathcal{D}) \big] &= -\sum_{n=1}^{N} \log \big[\mathcal{N}(y^{(n)}; f_{\mathbf{w}}(\mathbf{x}^{(n)}), \sigma_{y}^{2}) \big] - \sum_{i=1}^{K} \log \big[ \mathcal{N}(w_{i}; \, 0, \, \sigma_{\mathbf{w}}^{2}) \big] + const. \newline &= \frac{1}{2\sigma_{y}^{2}} \sum_{n=1}^{N} \big(y^{(n)} - f_{\mathbf{w}}(\mathbf{x}^{(n)})\big)^{2} + \frac{1}{2\sigma_{\mathbf{w}}^{2}} \sum_{i=1}^{K} w_{i}^{2} + const. \newline \end{split}$

Звичайно, ми можемо скинути константу і помножити на будь-яку кількість, не впливаючи принципово на функцію втрат. (константа нічого не робить, множення ефективно масштабує швидкість навчання. Не вплине на розташування мінімумів) Отже, ми можемо бачити, що ймовірність негативного журналу заднього розподілу є еквівалентною функцією втрат, як функція втрати регульованої квадратної помилки L2.

Цей еквівалент є загальним і має значення для будь-якої параметризованої функції ваг - не лише лінійної регресії, як здається, мається на увазі вище.

— нікелінін37
джерело

1

Існує дві характеристики байєсівського моделювання, які необхідно підкреслити, обговорюючи рівноважність певної оціненої максимальної ймовірності й баєсівські процедури.

У байєсівських рамках пріоритет вибирається на основі специфіки проблеми і не мотивується обчислювальною доцільністю. Отже, байєси використовують різноманітні пріори, включаючи популярну в даний час підкову для розріджених проблем із прогнозуванням, і не потрібно так сильно покладатися на пріори, що еквівалентні штрафам L1 або L2.
При повному байєсівському підході ви маєте доступ до всіх інфекційних процедур, коли закінчите. Наприклад, ви можете кількісно оцінити докази великих коефіцієнтів регресії, і ви можете отримати достовірні інтервали щодо коефіцієнтів регресії та загальних прогнозованих значень. Коли ви вибираєте штраф, ви часто втрачаєте всю інфекційну машину.

— Френк Харрелл
джерело