Оцініть задній прогнозний розподіл за лінійною регресією Байєса

10

Мене збентежує те, як оцінити задній прогнозний розподіл за лінійною регресією Байєса, минулий основний випадок, описаний тут на сторінці 3, і скопійований нижче.

p (\tilde{y} ∣ y) = \int p (\tilde{y} ∣ β, σ^{2}) p (β, σ^{2} ∣ y)

$p(\tilde y \mid y) = \int p(\tilde y \mid \beta, \sigma^2) p(\beta, \sigma^2 \mid y)$

Основний випадок - це модель лінійної регресії:

y = X β + ϵ, y \sim N (X β, σ^{2})

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \sigma^2)$

Якщо ми використовуємо або рівномірний попередній на , зі шкалою Inv до , АБО попередньо-зворотний гамма звичайний (див. Тут ), задній прогнозний розподіл є аналітичним і є студентом t. $\beta$ $\chi^2$ $\sigma^2$

Що з цією моделлю?

y = X β + ϵ, y \sim N (X β, Σ)

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \Sigma)$

Коли , але відомий, задній прогнозний розподіл є багатовимірним гауссовим. Зазвичай ви не знаєте , але доведеться оцінювати це. Можливо, ви скажете його діагональ і зробите деяку діагональ функцією коваріатів. Про це йдеться у главі лінійної регресії Байєсового аналізу даних Гельмана . $y \sim N(X\beta, \Sigma)$ $\Sigma$ $\Sigma$

Чи є в цьому випадку аналітична форма для заднього прогнозного розподілу? Чи можу я просто підключити свою оцінку до багатоваріантного студента t? Якщо ви оцінюєте більше однієї дисперсії, чи розподіл все ще багатоваріантний студент t?

Я прошу, тому що скажіть, у мене вже є деякі вже під рукою. Я хочу знати, чи є більш імовірна прогнозована, наприклад, лінійна регресія A, лінійна регресія B $\tilde y$

— рахунок_е
джерело

1

Якщо у вас є задні зразки із заднього розподілу, ви можете оцінити прогнозний розподіл з наближенням Монте-Карло

— niandra82

А, дякую, я завжди міг це зробити. Чи немає в цьому випадку аналітичної формули?

— bill_e

До речі, ланки розірвані. Було б чудово, якби ви включили посилання іншим способом.

— Максим.К

6

Якщо припустити рівномірне значення до , то заднім для є з Щоб знайти прогнозний розподіл, нам потрібна додаткова інформація. Якщо і умовно не залежить від заданого , то Але зазвичай для цих типів моделей і не є умовно незалежними, натомість ми зазвичай маємо $\beta$ $\beta$

β | y \sim N (\hat{β}, V_{β}) .

$\beta|y \sim N(\hat{\beta},V_\beta).$

\hat{β} = [X^{'} Σ^{- 1} X] X^{'} y and V_{β} = [X^{'} Σ^{- 1} X]^{- 1} .

$\hat{\beta} = [X'\Sigma^{-1}X]X'y \quad \mbox{and} \quad V_\beta =[X'\Sigma^{-1}X]^{-1}.$

\tilde{y} \sim N (\tilde{X} β, \tilde{Σ})

$\tilde{y} \sim N(\tilde{X}\beta,\tilde{\Sigma})$

y

$y$

β

$\beta$

\tilde{y} | y \sim N (\tilde{X} \hat{β}, \tilde{Σ} + V_{β}) .

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta}, \tilde{\Sigma} + V_\beta).$

y

$y$

\tilde{y}

$\tilde{y}$

(\begin{matrix} y \\ \tilde{y} \end{matrix}) \sim N ([\begin{matrix} X β \\ \tilde{X} β \end{matrix}], [\begin{array}{cc} Σ & Σ_{12} \\ Σ_{21} & \tilde{Σ} \end{array}]) .

$\left( \begin{array}{c} y \\ \tilde{y} \end{array} \right) \sim N\left( \left[\begin{array}{c} X\beta \\ \tilde{X}\beta \end{array}\right], \left[ \begin{array}{cc} \Sigma & \Sigma_{12} \\ \Sigma_{21} & \tilde{\Sigma} \end{array} \right]\right).$ Якщо це так, то Це передбачає, що і всі відомі. Як ви зазначаєте, зазвичай вони невідомі і потребують оцінки. Для звичайних моделей, що мають цю структуру, наприклад часові ряди та просторові моделі, загалом не існує закритої форми для прогнозного розподілу.

\tilde{y} | y \sim N (\tilde{X} \hat{β} + Σ_{21} Σ^{- 1} (y - X \hat{β}), \tilde{Σ} - Σ_{21} Σ^{- 1} Σ_{12}) .

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta} + \Sigma_{21}\Sigma^{-1}(y-X\hat{\beta}), \tilde{\Sigma} - \Sigma_{21}\Sigma^{-1}\Sigma_{12}).$

Σ, Σ_{12},

$\Sigma, \Sigma_{12},$

\tilde{Σ}

$\tilde{\Sigma}$

— jaradniemi
джерело

2

Під неінформативними або багатоваріантними пріорами Нормаля-Вішарта ви маєте аналітичну форму як багатоваріантний розподіл Стьюдента для класичної мультиваріантної множинної регресії. Я думаю, що події в цьому документі пов'язані з вашим запитанням (можливо, вам сподобається додаток A :-)). Я зазвичай порівнював результат із заднім прогнозним розподілом, отриманим за допомогою WinBUGS та аналітичної форми: вони абсолютно рівноцінні. Проблема стає важкою лише тоді, коли у вас є додаткові випадкові ефекти в моделях зі змішаним ефектом, особливо в неврівноваженому дизайні.

Взагалі, при класичних регресіях y і ỹ умовно незалежні (залишки - iid)! Звичайно, якщо це не так, то запропоноване тут рішення не є правильним.

У R, (тут, рішення для рівномірних пріорів), якщо припустити, що ви створили lm модель (названу "модель") одного з відповідей у вашій моделі, і назвали її "моделлю", ось як отримати багатоваріантний прогнозний розподіл

library(mvtnorm)
Y = as.matrix(datas[,c("resp1","resp2","resp3")])
X =  model.matrix(delete.response(terms(model)), 
           data, model$contrasts)
XprimeX  = t(X) %*% X
XprimeXinv = solve(xprimex)
hatB =  xprimexinv %*% t(X) %*% Y
A = t(Y - X%*%hatB)%*% (Y-X%*%hatB)
F = ncol(X)
M = ncol(Y)
N = nrow(Y)
nu= N-(M+F)+1 #nu must be positive
C_1 =  c(1  + x0 %*% xprimexinv %*% t(x0)) #for a prediction of the factor setting x0 (a vector of size F=ncol(X))
varY = A/(nu) 
postmean = x0 %*% hatB
nsim = 2000
ysim = rmvt(n=nsim,delta=postmux0,C_1*varY,df=nu)

Тепер квантили ysim - це інтервали допуску бета-очікування від прогнозного розподілу, ви можете, звичайно, безпосередньо використовувати вибірковий розподіл, щоб робити все, що завгодно.

— П’єр Лебрун
джерело