Оновлення фактора Байєса

Коефіцієнт Байєса визначається в баєсівському тестуванні гіпотези та підборі байесівської моделі за співвідношенням двох граничних ймовірностей: з урахуванням iid вибірки та відповідної щільності вибірки та , з відповідними пріорами та , коефіцієнт Байєса для порівняння двох моделей - книга Я в даний час розглядає має дивне твердження , що вище Байеса фактор $(x_1,\ldots,x_n)$ $f_1(x|\theta)$ $f_2(x|\eta)$ $\pi_1$ $\pi_2$

Б_{12} (х_{1}, \dots, х_{н}) \overset{деф}{=} \frac{м_{1} (х_{1}, \dots, х_{н})}{м_{2} (х_{1}, \dots, х_{н})} \overset{деф}{=} \frac{\int \prod_{i = 1}^{н} f_{1} (х_{i} | θ) π_{1} (г θ)}{\int \prod_{i = 1}^{н} f_{2} (х_{i} | η) π_{2} (г η)}

$\mathfrak{B}_{12}(x_1,\ldots,x_n)\stackrel{\text{def}}{=}\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\stackrel{\text{def}}{=}\frac{\int \prod_{i=1}^n f_1(x_i|\theta)\pi_1(\text{d}\theta)}{\int \prod_{i=1}^n f_2(x_i|\eta)\pi_2(\text{d}\eta)}$

B_{12} (x_{1}, \dots, x_{n})

$\mathfrak{B}_{12}(x_1,\ldots,x_n)$ "утворюється шляхом множення окремих [факторів Байєса] разом" (с.118). Це формально правильно, якщо використовується розкладання але я не бачу обчислювальної переваги в цьому розкладі як оновлення вимагає таких самих обчислювальних зусиль, що і початкові обчислення

\begin{aligned} Б_{12} (х_{1}, \dots, х_{н}) & = \frac{м_{1} (х_{1}, \dots, х_{н})}{м_{2} (х_{1}, \dots, х_{н})} \\ = \frac{м_{1} (х_{н} | х_{1}, \dots, х_{н - 1})}{м_{2} (х_{н} | х_{1}, \dots, х_{н - 1})} \times \frac{м_{1} (х_{н - 1} | х_{н - 2}, \dots, х_{1})}{м_{2} (х_{н - 1} | х_{н - 2}, \dots, х_{1})} \times \dots \\ \dots \times \frac{м_{1} (х_{1})}{м_{2} (х_{1})} \end{aligned}

$\begin{align*}\mathfrak{B}_{12}(x_1,\ldots,x_n)&=\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\\&=\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}\times \frac{m_1(x_{n-1}|x_{n-2},\ldots,x_1)}{m_2(x_{n-1}|x_{n-2},\ldots,x_1)}\times\cdots\\&\qquad\cdots\times\frac{m_1(x_1)}{m_2(x_1)}\end{align*}$

\frac{м_{1} (х_{н} | х_{1}, \dots, х_{н - 1})}{м_{2} (х_{н} | х_{1}, \dots, х_{н - 1})}

$\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}$

\frac{м_{1} (х_{1}, \dots, х_{н})}{м_{2} (х_{1}, \dots, х_{н})}

$\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}$ поза штучними прикладами іграшок.

Питання: Чи існує загальний та обчислювально ефективний спосіб оновлення фактора Байєса від до що не потребує перерахунку цілих маргіналів та ? $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ $\mathfrak{B}_{12}(x_1,\ldots,x_{n+1})$ $m_1(x_1,\ldots,x_n)$ $m_2(x_1,\ldots,x_n)$

Моя інтуїція полягає в тому, що, окрім фільтрів частинок, які дійсно продовжують оцінювати коефіцієнти Байєса $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ одне нове спостереження за раз, немає природного способу відповісти на це запитання. .

— Сіань
джерело

Мені не здається зрозумілим, що формулювання передбачає обов'язково послідовну факторизацію, оскільки спостереження є ідентичними. Під час випускної школи професор зазначав, що з продукту випливає, що можна використовувати асимптотичні наближення для байєсівських аналізів, але, як не дивно, це не сприйняло (сарказм). Можливо, книга може на це натякнути?

— Кліф АВ

@CliffAB: Так, ви можете переписати ймовірність як середнє значення для окремих термінів, переходячи на відстань Куллбека-Лейблера від істинного розподілу. Але я не думаю, що це так, навіть якщо книга є недостатньо зрозумілою, щоб відкрити всі варіанти.

— Сіань

Я вважаю, що у другому відображеному рівнянні є помилка друку: чи має бути у другому факторі другого рядка?

m_{1} (x_{n - 1} | x_{n - 1}, \dots, x_{1})

$m_1(x_{n-1}|x_{n-1}, \ldots, x_1)$

— jochen

Імовірно, метою рекурсивного рівняння для коефіцієнта Байєса буде те, коли ви вже обчислили коефіцієнт Байєса для точок даних, і ви хочете мати можливість оновити це за допомогою однієї додаткової точки даних. Здається, що це можна зробити, не перераховуючи поля попереднього вектора даних, доки відома форма задньої функції . Якщо припустити, що ми знаємо форму цієї функції (і якщо припустити дані IID, як у вашому запитанні), то прогнозна щільність може бути записана як: $n$ $\pi_n$

\begin{aligned} м (х_{н + 1} | х_{1}, . . ., х_{н}) & = \int_{Θ} f (х_{н + 1} | θ) π_{н} (г θ | х_{1}, . . ., х_{н}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_{n+1} | x_1,...,x_n) &= \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

Отже, у вас є:

\begin{aligned} м (х_{1}, . . ., х_{н + 1}) & = м (х_{1}, . . ., х_{н}) \int_{Θ} f (х_{н + 1} | θ) π_{н} (г θ | х_{1}, . . ., х_{н}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_1,...,x_{n+1}) &= m(x_1,...,x_n) \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

Порівнюючи два модельні класи через коефіцієнт Байєса, ми отримуємо рекурсивне рівняння:

\begin{aligned} Б_{12} (х_{1}, . . ., х_{н + 1}) & = Б_{12} (х_{1}, . . ., х_{н}) \cdot \frac{\int_{Θ_{1}} f (х_{н + 1} | θ) π_{1, н} (г θ | х_{1}, . . ., х_{н})}{\int_{Θ_{2}} f (х_{н + 1} | θ) π_{2, н} (г θ | х_{1}, . . ., х_{н})} . \end{aligned}

$\begin{equation} \begin{aligned} \mathfrak{B}_{12}(x_1,...,x_{n+1}) &= \mathfrak{B}_{12}(x_1,...,x_{n}) \cdot \frac{\int _{\Theta_1} f(x_{n+1}|\theta) \pi_{1,n}(d \theta | x_1,...,x_n)}{\int _{\Theta_2} f(x_{n+1}|\theta) \pi_{2,n}(d \theta | x_1,...,x_n)}. \\[6pt] \end{aligned} \end{equation}$

Це все ще включає інтеграцію в діапазоні параметрів, тому я погоджуюся з вашою думкою, що, схоже, немає жодної обчислювальної переваги перед простою перерахункою коефіцієнта Байєса за допомогою початкової формули, яку ви даєте. Тим не менш, ви можете бачити, що для цього не потрібно перераховувати маргінали для попереднього вектора даних. (Натомість ми обчислюємо прогнозну щільність нової точки даних, що залежить від попередніх даних, під кожним із модельних класів.) Як і ви, я не бачу жодної обчислювальної переваги цього, якщо не трапляється, що ця інтегральна формула легко спрощується. У будь-якому випадку, я думаю, це дає вам ще одну формулу оновлення фактора Байєса.

— Бен - Відновлення Моніки
джерело

Дякую. Це правда, що маргінали не потрібно перераховувати, stricto sensu , але кількість обчислень здається такою ж, як ви зауважуєте.

— Сіань

Єдиною перевагою, про яку я можу подумати, є те, що оскільки ми зараз інтегруємось лише над однією щільністю (а не добуток густин), інтегранд буде менш мінливим, і тому ця остання формула може полегшити уникнення проблем із переливом у обчислення. Можливо, все це велике.

n

$n$

— Бен -