Регресія Байєса: як це робиться порівняно зі стандартною регресією?

У мене виникли питання щодо байєсівської регресії:

Дано стандартну регресію як . Якщо я хочу змінити це в Байєсова регресію, чи потрібно мені апріорні розподілу як для і (або вона не працює таким чином)? $y = \beta_0 + \beta_1 x + \varepsilon$ $\beta_0$ $\beta_1$
У стандартній регресії намагаються мінімізувати залишки, щоб отримати одиничні значення для та . Як це робиться при регресії Байєса? $\beta_0$ $\beta_1$

Я дійсно тут багато борюся:

posterior = prior \times likelihood

$\text{posterior} = \text{prior} \times \text{likelihood}$

Ймовірність походить від поточного набору даних (тож це мій параметр регресії, але не як єдине значення, а як розподіл ймовірності, правда?). Пріоритет є попереднім дослідженням (скажімо). Тому я отримав це рівняння:

y = β_{1} x + ε

$y = \beta_1 x + \varepsilon$

з моєю ймовірністю чи задньою (чи це просто зовсім неправильно)? $\beta_1$

Я просто не можу зрозуміти, як стандартна регресія перетворюється на Баєсову.

regression bayesian

— TinglTanglBob
джерело

Відповіді:

Проста модель лінійної регресії

y_{i} = α + β x_{i} + ε

$y_i = \alpha + \beta x_i + \varepsilon$

можна записати з точки зору ймовірнісної моделі, що стоїть за нею

μ_{i} = α + β x_{i} y_{i} \sim N (μ_{i}, σ)

$\mu_i = \alpha + \beta x_i \\ y_i \sim \mathcal{N}(\mu_i, \sigma)$

тобто залежна змінна слідує за нормальним розподілом, параметризованим середнім , тобто лінійною функцією параметризованою , і стандартним відхиленням . Якщо ви оцінюєте таку модель, використовуючи звичайні найменші квадрати , вам не доведеться турбуватися про ймовірнісну формулювання, оскільки ви шукаєте оптимальні значення параметрів , зводячи до мінімуму похибки квадрата вбудованих значень до прогнозованих значень. З іншого боку, ви можете оцінити таку модель, використовуючи максимальну оцінку ймовірності , де ви б шукали оптимальні значення параметрів, максимізуючи функцію ймовірності. $Y$ $\mu_i$ $X$ $\alpha,\beta$ $\sigma$ $\alpha,\beta$

\underset{α, β, σ}{a r g m a x} \prod_{i = 1}^{n} N (y_{i}; α + β x_{i}, σ)

$\DeclareMathOperator*{\argmax}{arg\,max} \argmax_{\alpha,\,\beta,\,\sigma} \prod_{i=1}^n \mathcal{N}(y_i; \alpha + \beta x_i, \sigma)$

де - функція щільності нормального розподілу, що оцінюється в точках , параметризована засобами та стандартним відхиленням . $\mathcal{N}$ $y_i$ $\alpha + \beta x_i$ $\sigma$

У баєсовському підході замість максимізації функції лише ймовірності ми вважаємо попередні розподіли для параметрів і використовуємо теорему Байєса

posterior \propto likelihood \times prior

$\text{posterior} \propto \text{likelihood} \times \text{prior}$

Функція ймовірності така ж, як вище, але те, що змінюється, полягає в тому, що ви припускаєте деякі попередні розподіли для оцінюваних параметрів та включаєте їх до рівняння $\alpha,\beta,\sigma$

\underset{posterior}{\underset{⏟}{f (α, β, σ ∣ Y, X)}} \propto \underset{likelihood}{\underset{⏟}{\prod_{i = 1}^{n} N (y_{i} ∣ α + β x_{i}, σ)}} \underset{priors}{\underset{⏟}{f_{α} (α) f_{β} (β) f_{σ} (σ)}}

$\underbrace{f(\alpha,\beta,\sigma\mid Y,X)}_{\text{posterior}} \propto \underbrace{\prod_{i=1}^n \mathcal{N}(y_i\mid \alpha + \beta x_i, \sigma)}_{\text{likelihood}} \; \underbrace{f_{\alpha}(\alpha) \, f_{\beta}(\beta) \, f_{\sigma}(\sigma)}_{\text{priors}}$

"Які розподіли?" інше питання, оскільки існує необмежена кількість варіантів. Для параметрів можна, наприклад, припустити звичайні розподіли, параметризовані деякими гіперпараметрами , або -розподіл, якщо ви хочете зробити більш важкі хвости, або рівномірний розподіл, якщо ви не хочете робити багато припущень, але ви хочете припустити що параметри можуть бути апріорі "будь-що в заданому діапазоні" і т. д. Для вам потрібно припустити деякий попередній розподіл, який повинен бути більшим за нуль, оскільки стандартне відхилення повинно бути додатним. Це може призвести до формулювання моделі, як показано нижче Джон К. Крушке. $\alpha,\beta$ $t$ $\sigma$

(джерело: http://www.indiana.edu/~kruschke/BMLR/ )

Хоча з максимальною ймовірністю ви шукали єдине оптимальне значення для кожного з параметрів, в баєсовському підході, застосовуючи теорему Байєса, ви отримуєте задній розподіл параметрів. Остаточна оцінка залежатиме від інформації, яка надходить від ваших даних та від ваших пріорів , але чим більше інформації міститься у ваших даних, тим менш впливовими є пріори .

Зауважте, що при використанні рівномірних пріорів вони набувають форми після скидання нормалізуючих констант. Це робить теорему Байєса пропорційною лише ймовірності функціонування, тому задній розподіл досягне свого максимуму точно в тій же точці, що і максимальна оцінка ймовірності. Далі, оцінка за однорідними пріорами буде такою ж, як і за допомогою звичайних найменших квадратів, оскільки мінімізація помилок у квадраті відповідає максимізації нормальної ймовірності . $f(\theta) \propto 1$

Для оцінки моделі в баєсовському підході в деяких випадках можна використовувати кон'юговані пріори , тому задній розподіл безпосередньо доступний (див. Приклад тут ). Однак у переважній більшості випадків задній розподіл не буде доступний безпосередньо, і вам доведеться використовувати методи Маркова ланцюга Монте-Карло для оцінки моделі (перевірте цей приклад використання алгоритму Metropolis-Hastings для оцінки параметрів лінійної регресії). Нарешті, якщо вас цікавлять лише точкові оцінки параметрів, ви можете використовувати максимум післяофіційну оцінку , тобто

\underset{α, β, σ}{a r g m a x} f (α, β, σ ∣ Y, X)

$\argmax_{\alpha,\,\beta,\,\sigma} f(\alpha,\beta,\sigma\mid Y,X)$

Для більш детального опису логістичної регресії ви можете перевірити байєсівську модель Logit - інтуїтивне пояснення? нитка.

Щоб дізнатися більше, ви можете перевірити наступні книги:

Kruschke, J. (2014). Проведення аналізу даних Bayes: Навчальний посібник з R, JAGS та Stan. Академічна преса.

Гельман, А., Карлін, Дж. Б., Стерн, Х. С., і Рубін, Д. Б. (2004). Байєсівський аналіз даних. Chapman & Hall / CRC.

— Тім
джерело

+1 З огляду на те, як задано питання, я, можливо, ще трохи наголошу на цій філософській різниці: У звичайних найменших квадратах та максимальній оцінці ймовірності ми починаємо з питання "Які найкращі значення для (можливо, для подальшого використовувати)? " $\beta_i$ , тоді як при повному байєсівському підході ми починаємо з питання "Що можна сказати про невідомі значення ?" а потім, можливо, перейдіть до використання максимуму середнього або заднього значення, якщо потрібна бальна оцінка. $\beta_i$

— JiK

+1. Ще одна річ, яка може бути корисною для уточнення взаємозв'язку між байєсівським та OLS-підходом, - це те, що OLS можна розуміти як заднє середнє під плоским попереднім (принаймні, наскільки я розумію). Було б чудово, якби ви могли детальніше розібратися в цьому у своїй відповіді.

— амеба каже, що відбудеться Моніка

@amoeba це вдалий момент, я подумаю про це. Але з іншого боку, я не хочу робити відповідь занадто довго, тому є сенс в деталях.

— Тім

@amoeba FYI, я додав короткий коментар до цього.

— Тім

Враховуючи набір даних де , байєсова лінійна регресія моделює проблему в наступний спосіб: $D = (x_1,y_1), \ldots, (x_N,y_N)$ $x \in \mathbb{R}^d, y \in \mathbb{R}$

До:

w \sim N (0, σ_{w}^{2} I_{d})

$w \sim \mathcal{N}(0, \sigma_w^2 I_d)$

$w$ вектор , тому попередній розподіл є багатоваріантним гауссом; а - матриця ідентичності . $(w_1, \ldots, w_d)^T$ $I_d$ $d\times d$

Ймовірність:

Y_{i} \sim N (w^{T} x_{i}, σ^{2})

$Y_i \sim \mathcal{N}(w^T x_i, \sigma^2)$

Будемо вважати, що $Y_i \perp Y_j | w, i \neq j$

Зараз ми використаємо точність замість дисперсії, , і . Будемо також вважати, що відомі. $a = 1/\sigma^2$ $b = 1/\sigma_w^2$ $a,b$

Попередній можна вказати як

p (w) \propto \exp {- \frac{b}{2} w^{t} w}

$p(w) \propto \exp \Big\{ -\frac{b}{2} w^t w \Big\}$

І ймовірність

p (D | w) \propto \exp {- \frac{a}{2} (y - A w)^{T} (y - A w)}

$p(D|w) \propto \exp \Big\{ -\frac{a}{2} (y-Aw)^T (y-Aw) \Big\}$

де і є матрицею , де I-й рядок є . $y = (y_1,\ldots,y_N)^T$ $A$ $n\times d$ $x_i^T$

Тоді задній -

p (w | D) \propto p (D | w) p (w)

$p(w|D) \propto p(D|w) p(w)$

Після багатьох обчислень ми виявляємо це

p (w | D) \sim N (w | μ, Λ^{- 1})

$p(w|D) \sim \mathcal{N}(w | \mu, \Lambda^{-1})$

де ( - матриця точності) $\Lambda$

Λ = a A^{T} A + b I_{d}

$\Lambda = a A^T A + b I_d$

μ = a Λ^{- 1} A^{T} y

$\mu = a \Lambda^{-1} A^T y$

Зауважте, що дорівнює регулярної лінійної регресії, це тому, що для Гаусса середнє значення дорівнює режиму. $\mu$ $w_{MAP}$

Також ми можемо скласти деяку алгебру над і отримати таку рівність ( ): $\mu$ $\Lambda = aA^TA+bI_d$

μ = (A^{T} A + \frac{b}{a} I_{d})^{- 1} A^{T} y

$\mu = (A^T A + \frac{b}{a} I_d)^{-1} A^T y$

і порівняйте з : $w_{MLE}$

w_{M L E} = (A^{T} A)^{- 1} A^{T} y

$w_{MLE} = (A^T A)^{-1} A^T y$

Додатковий вираз в відповідає попередньому. Це схоже на вираз для регресії Рейда, для особливого випадку, коли . Регресія хребта є більш загальною, оскільки методика може вибрати неправильні пріори (в байєсівській перспективі). $\mu$ $\lambda = \frac{b}{a}$

Для прогнозного заднього розподілу:

p (y | x, D) = \int p (y | x, D, w) p (w | x, D) d w = \int p (y | x, w) p (w | D) d w

це можна порахувати

y | x, D \sim N (μ^{T} x, \frac{1}{a} + x^{T} Λ^{- 1} x)

$y|x,D \sim \mathcal{N}(\mu^Tx, \frac{1}{a} + x^T \Lambda^{-1}x)$

Довідка: Lunn et al. КУРСЬКА книга

Для використання такого інструменту MCMC, як JAGS / Stan, перевірте аналіз даних Kruschke's Doing Bayesian

— jpneto
джерело

Дякую jpneto. я відчуваю, що це чудова відповідь, але я ще не розумію цього через відсутність математичних знань. Але я обов'язково прочитаю його ще раз, коли

— здобудуть

Це дуже приємно, але припущення, що точність відома, є дещо рідкісним. Чи не набагато частіше припускати зворотний розподіл гамми для дисперсії, тобто розподіл гамми для точності?

— DeltaIV

+1. Чи можете ви прокоментувати трохи більше "Регресія хребта більш загальна, тому що методика може вибрати неправильні пріорі"? Я не розумію. Я думав, що RR = гауссова (належна) до .

w

$w$

— амеба каже, що повернеться до Моніки

@amoeba: Гауссова пріоритет є але може бути нульовим, що призводить до неправильного попереднього, тобто це призводить до MLE.

w \sim N (0, λ^{- 1} I_{d})

$w \sim N(0,\lambda^{-1} I_d)$

λ

$\lambda$

— jpneto

@DeltaIV: впевнений, що коли ми маємо невизначеність щодо параметра, ми зможемо моделювати це з попереднім. Припущення про відому точність полягає у спрощенні пошуку аналітичного рішення. Зазвичай такі аналітичні рішення неможливі, і ми повинні використовувати наближення, наприклад, MCMC або якусь варіативну методику.

— jpneto