Кроки, щоб з'ясувати задній розподіл, коли це може бути досить простим, щоб мати аналітичну форму?

Про це також запитали в обчислювальній науці.

Я намагаюся обчислити байєсівську оцінку деяких коефіцієнтів для авторегресії з 11 зразків даних: де - гауссова із середнім 0 та дисперсією Попередній розподіл на вектор - гауссовий із середнім та діагональною матрицею коваріації із діагональні записи, що дорівнює .

Y_{i} = μ + α \cdot Y_{i - 1} + ϵ_{i}

$Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i}$

ϵ_{i}

$\epsilon_{i}$

σ_{e}^{2}

$\sigma_{e}^{2}$

(μ, α)^{t}

$(\mu, \alpha)^{t}$

(0, 0)

$(0,0)$

σ_{p}^{2}

$\sigma_{p}^{2}$

Виходячи з формули авторегресії, це означає, що розподіл точок даних ( ) нормальний із середнім та дисперсією . Таким чином, щільність для всіх точок даних спільно (якщо припустити незалежність, що добре для програми, про яку я пишу), буде: $Y_{i}$ $\mu + \alpha\cdot{}Y_{i-1}$ $\sigma_{e}^{2}$ $(Y)$

p (Y | (μ, α)^{t}) = \prod_{i = 2}^{11} \frac{1}{\sqrt{2 π σ_{e}^{2}}} \exp \frac{- (Y_{i} - μ - α \cdot Y_{i - 1})^{2}}{2 σ_{e}^{2}} .

$p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}.$

За теоремою Байєса ми можемо взяти добуток вищевказаної щільності з попередньою щільністю, і тоді нам просто потрібна константа нормалізації. Моя думка полягає в тому, що це повинно бути гауссовим розподілом, тому ми можемо турбуватися про нормалізуючу константу наприкінці, а не про чітке обчислення її інтегралами над та . $\mu$ $\alpha$

Це частина, з якою я маю проблеми. Як я обчислюю множення попередньої щільності (яка є багатоваріантною) та цього продукту одновимірної щільності даних? Задня частина повинна мати чисто густину та , але я не бачу, як ви вийдете з такого виробу. $\mu$ $\alpha$

Будь-які вказівники дуже корисні, навіть якщо ви просто вкажете мене в правильному напрямку, і тоді мені потрібно піти і зробити безладну алгебру (це те, що я вже кілька разів намагався).

Як вихідний, ось форма чисельника з правила Байєса:

\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [\frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] .

$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ \frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }.$

Питання полягає в тому, як бачити, що це зводиться до гауссової щільності . $(\mu, \alpha)^{t}$

Додано

Зрештою, це зводиться до наступної загальної проблеми. Якщо вам надано якийсь квадратичний вираз, такий як як ви переведете його в квадратичну форму для деякої матриці 2x2 ? Це досить просто в легких випадках, але який процес ви використовуєте для отримання середніх оцінок, і ?

A μ^{2} + B μ α + C α^{2} + J μ + K α + L

$A\mu^{2} + B\mu\alpha + C\alpha^{2} + J\mu + K\alpha + L$

(μ - \hat{μ}, α - \hat{α}) Q (μ - \hat{μ}, α - \hat{α})^{t}

$(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q

$Q$

\hat{μ}

$\hat{\mu}$

\hat{α}

$\hat{\alpha}$

Зауважте, я спробував прямолінійний варіант розширення формули матриці, а потім намагався прирівняти коефіцієнти, як вище. Проблема, в моєму випадку, полягає в тому, що константа дорівнює нулю, і тоді я в кінцевому підсумку отримую три рівняння в двох невідомих, тому це недостатньо визначено для відповідності коефіцієнтів (навіть якщо я припускаю симетричну квадратичну матрицю форми). $L$

bayesian mathematical-statistics posterior

— Елі
джерело

Моя відповідь на [це запитання] ( stats.stackexchange.com/questions/22852/… ) може бути корисною. Зауважте, що вам потрібно попереднє спостереження - ітерації зупиняються на цьому.

— ймовірністьлогічний

Я не бачу, навіщо мені це потрібно в цьому випадку. Я повинен ставитися до часових інтервалів так, як вони умовно незалежні з огляду на спостереження. Зауважте, що добуток щільності суглоба якраз від . Я не думаю, що я повинен отримати послідовно оновлену формулу тут, лише єдину формулу для заднього .

i = 2..11

$i=2..11$

p ((μ, α)^{t} | Y)

$p((\mu,\alpha)^{t}\quad |Y)$

— ely

"Багатоваріантність" у попередньому не суперечить "уніваріантним" у щільності даних, оскільки вони є щільністю у 's.

p (α, μ)

$p(\alpha,\mu)$

y_{i}

$y_i$

— Сіань

Підказка, що була в моїй відповіді на попередню відповідь, полягає в тому, щоб подивитися на те, як я інтегрував параметри - тому що ви будете робити саме такі інтеграли тут. Ви запитуєте припускає відомі параметри дисперсії, тому вони є константами. Потрібно лише подивитися на залежність від чисельника. Щоб побачити це, зауважте, що ми можемо написати: $\alpha,\mu$

p (μ, α | Y) = \frac{p (μ, α) p (Y | μ, α)}{\int \int p (μ, α) p (Y | μ, α) d μ d α}

$p(\mu,\alpha|Y)=\frac{p(\mu,\alpha)p(Y|\mu,\alpha)}{\int\int p(\mu,\alpha)p(Y|\mu,\alpha)d\mu d\alpha}$

= \frac{\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

Зверніть увагу , як ми можемо витягти перший фактор з подвійного інтеграла на знаменнику, і він скасовується чисельником. Ми також можемо витягнути суму квадратів і він також скасує. Інтеграл, який нам залишився зараз (після розширення квадрата): $\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}}$ $\exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}Y_{i}^{2} \biggr ]}$

= \frac{\exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

Тепер ми можемо використовувати загальний результат від звичайного pdf.

\int \exp (- a z^{2} + b z - c) d z = \sqrt{\frac{π}{a}} \exp (\frac{b^{2}}{4 a} - c)

$\int \exp\left(-az^2+bz-c\right)dz=\sqrt{\frac{\pi}{a}}\exp\left(\frac{b^2}{4a}-c\right)$ Це випливає із заповнення квадрата на та зазначення, що не залежить від . Зауважимо, що внутрішній інтеграл над має цю форму з і і . Зробивши цей інтеграл, ви побачите, що інтеграл, що залишився над

- a z^{2} + b z

$-az^2+bz$

c

$c$

z

$z$

μ

$\mu$

a = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}}

$a=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p}$

b = \frac{\sum_{i = 2}^{11} Y_{i} - α \sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}}

$b=\frac{\sum_{i=2}^{11}Y_i-\alpha\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}}$

c = \frac{α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{2 σ_{e}^{2}} + \frac{α^{2}}{2 σ_{p}^{2}}

$c=\frac{\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}}{2\sigma_{e}^{2}}+ \frac{\alpha^{2}}{2\sigma_{p}^{2}}$

α

$\alpha$ також є такою формою, тому ви можете використовувати цю формулу ще раз, з різними . Тоді ви маєте змогу записати свою задню частину у формі де - матриця

a, b, c

$a,b,c$

\frac{1}{2 π | V |^{\frac{1}{2}}} \exp [- \frac{1}{2} (μ - \hat{μ}, α - \hat{α}) V^{- 1} (μ - \hat{μ}, α - \hat{α})^{T}]

$\frac{1}{2\pi|V|^{\frac{1}{2}}}\exp\left[-\frac{1}{2}(\mu-\hat{\mu},\alpha-\hat{\alpha})V^{-1}(\mu-\hat{\mu},\alpha-\hat{\alpha})^T\right]$

V

$V$

2 \times 2

$2\times 2$

Дайте мені знати, якщо вам потрібно більше підказок.

оновлення

(зауважте: правильна формула, має бути замість ) $10\mu^2$ $\mu^2$

якщо ми подивимось на квадратичну форму, яку ви написали в оновленні, помітили, що є коефіцієнтів ( не має значення для заднього, оскільки ми завжди можемо додати будь-яку константу, яка скасується в знаменнику). У нас також є невідомих . Отже, це "добре поставлена" проблема, якщо рівняння лінійно незалежні. Якщо розширити квадратичний отримуємо: $5$ $L$ $5$ $\hat{\mu},\hat{\alpha},Q_{11},Q_{12}=Q_{21},Q_{22}$ $(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q_{11} (μ - \hat{μ})^{2} + Q_{22} (α - \hat{α})^{2} + 2 Q_{12} (μ - \hat{μ}) (α - \hat{α})

$Q_{11}(\mu-\hat{\mu})^2+Q_{22}(\alpha-\hat{\alpha})^2+2Q_{12}(\mu-\hat{\mu})(\alpha-\hat{\alpha})$

= Q_{11} μ^{2} + 2 Q_{21} μ α + Q_{22} α^{2} - (2 Q_{11} \hat{μ} + 2 Q_{12} \hat{α}) μ - (2 Q_{22} \hat{α} + 2 Q_{12} \hat{μ}) α +

$=Q_{11}\mu^{2} + 2Q_{21}\mu\alpha + Q_{22}\alpha^{2} - (2Q_{11}\hat{\mu}+2Q_{12}\hat{\alpha})\mu - (2Q_{22}\hat{\alpha}+2Q_{12}\hat{\mu})\alpha +$

+ Q_{11} {\hat{μ}}^{2} + Q_{22} {\hat{α}}^{2} + 2 Q_{12} \hat{μ} \hat{α}

$+Q_{11}\hat{\mu}^2+Q_{22}\hat{\alpha}^2+2Q_{12}\hat{\mu}\hat{\alpha}$

Порівнюючи коефіцієнт другого порядку, ми отримуємо що говорить про те, як виглядає (зворотна) матриця коваріації. Крім того, ми маємо два трохи складніші рівняння для після підстановки . Вони можуть бути записані у матричній формі у вигляді: $A=Q_{11},B=2Q_{12},C=Q_{22}$ $\hat{\alpha},\hat{\mu}$ $Q$

- (\begin{matrix} 2 A & B \\ B & 2 C \end{matrix}) (\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = (\begin{matrix} J \\ K \end{matrix})

$-\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix} \begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = \begin{pmatrix}J \\ K\end{pmatrix}$

Таким чином, оцінки даються:

(\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = - {(\begin{matrix} 2 A & B \\ B & 2 C \end{matrix})}^{- 1} (\begin{matrix} J \\ K \end{matrix}) = \frac{1}{4 A C - B^{2}} (\begin{matrix} B K - 2 J C \\ B J - 2 K A \end{matrix})

$\begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = -\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix}^{-1}\begin{pmatrix}J \\ K\end{pmatrix}=\frac{1}{4AC-B^2}\begin{pmatrix}BK-2JC \\ BJ-2KA\end{pmatrix}$

Показано, що ми не маємо унікальних оцінок, якщо тільки . Тепер у нас є: $4AC\neq B^2$

\begin{array}{cc} A = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} & B = \frac{\sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}} & C = \frac{\sum_{i = 1}^{10} Y_{i}^{2}}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} \\ J = - \frac{\sum_{i = 2}^{11} Y_{i}}{σ_{e}^{2}} & K = - \frac{\sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{σ_{e}^{2}} \end{array}

$\begin{array}{c c} A=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} & B=\frac{\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}} & C=\frac{\sum_{i=1}^{10}Y_{i}^{2}}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} \\ J=-\frac{\sum_{i=2}^{11}Y_i}{\sigma_{e}^{2}} & K=-\frac{\sum_{i=2}^{11}Y_{i}Y_{i-1}}{\sigma_{e}^{2}} \end{array}$

Зауважте, що якщо ми визначимо для і візьмемо обмеження то оцінки для задаються звичайними найменшими квадратами оцінка і де і . Отже, задні оцінки - це середньозважене значення між оцінками OLS та попередньою оцінкою . $X_i=Y_{i-1}$ $i=2,\dots,11$ $\sigma^2_p\to\infty$ $\mu,\alpha$ $\hat{\alpha}=\frac{\sum_{i=2}^{11}(Y_{i}-\overline{Y})(X_{i}-\overline{X})}{\sum_{i=2}^{11}(X_{i}-\overline{X})^2}$ $\hat{\mu}=\overline{Y}-\hat{\alpha}\overline{X}$ $\overline{Y}=\frac{1}{10}\sum_{i=2}^{11}Y_i$ $\overline{X}=\frac{1}{10}\sum_{i=2}^{11}X_i=\frac{1}{10}\sum_{i=1}^{10}Y_i$ $(0,0)$

— ймовірністьіслогічна
джерело

Це не особливо корисно, оскільки я конкретно зазначив, що тут не має значення знаменник. Знаменник - це просто нормалізуюча константа, що буде очевидно, коли ви зменшите чисельник до гауссової форми. Тож хитрощі для оцінки інтегралів у знаменнику математично справді круті, але просто не потрібні для мого застосування. Єдине питання, яке мені потрібно вирішити, - це маніпулювання чисельником.

— ely

Ця відповідь дає і чисельник, і знаменник. Чисельник демонструє належний многочлен другого ступеня в що призводить до нормальної квадратичної форми, як підкреслюється ймовірністю.

(α, μ)

$(\alpha,\mu)$

— Сіань

@ems - обчисливши нормалізуючу константу, ви побудуєте потрібну квадратичну форму. він буде містити терміни, необхідні для складання квадрата

— ймовірністьлогічного

Я не розумію, як це дає вам квадратичну форму. Я розробив два інтеграли в знаменнику за допомогою інтегральної ідентичності Гаусса, яку ви розмістили. Зрештою, я просто отримую величезну безладну константу. Здається, не існує ясного способу прийняти цю константу і перетворити її на щось, що визначає значення потужності 1/2, і т.д. середній вектор ' .. Про це я просив допомоги в оригінальному запитанні.

(\hat{μ}, \hat{α})^{t}

$(\hat{\mu},\hat{\alpha})^{t}$

— ely

Дякую величезне за детальне доповнення. Я робив деякі нерозумні помилки, намагаючись зробити алгебру, щоб з'ясувати квадратичну форму. Ваші коментарі щодо відношення до оцінювача OLS також дуже цікаві та оцінені. Я думаю, що це пришвидшить мій код, оскільки я зможу малювати зразки з аналітичної форми, яка має вбудовані, оптимізовані методи. Мій початковий план полягав у тому, щоб використовувати Метрополіс-Гастінгс для вибору цього, але це було дуже повільно. Дякую!

— ely