Оновлення байесів з новими даними

Як ми можемо обчислити задню частину з попередньою N ~ (a, b) після дотримання n точок даних? Я припускаю, що ми повинні обчислити середню вибірку та дисперсію точок даних і зробити якийсь розрахунок, який поєднує задній з попереднім, але я не зовсім впевнений, як виглядає формула комбінації.

Основна ідея оновлення Баєса полягає в тому, що, враховуючи деякі дані $X$ та попередній параметр, що цікавить $\theta$ , де співвідношення між даними та параметром описується за допомогою функції ймовірності , ви використовуєте теорему Байєса для отримання задніх

$$p(\theta \mid X) \propto p(X \mid \theta) \, p(\theta)$$

Це можна зробити послідовно, коли, побачивши першу точку даних попередня θ оновлюється до задньої θ ′ , далі ви можете взяти другу точку даних x 2 і використовувати задню, отриману раніше$x_1$ $\theta$ $\theta'$$x_2$ , як вашіперед, щоб оновити його ще разт.д.$\theta'$

Дозвольте навести вам приклад. Уявіть, що ви хочете оцінити середнє нормального розподілу, а σ 2 вам відомий. У такому випадку ми можемо використовувати нормально-нормальну модель. Будемо вважати нормальним попереднє для μ з гіперпараметрами μ 0 , σ 2 $\mu$$\sigma^2$$\mu$$\mu_0,\sigma_0^2:$

$$\begin{align} X\mid\mu &\sim \mathrm{Normal}(\mu,\ \sigma^2) \\ \mu &\sim \mathrm{Normal}(\mu_0,\ \sigma_0^2) \end{align}$$

Оскільки нормальний розподіл є кон'югатом, що є попереднім для нормального розподілу, ми маємо рішення закритої форми для оновлення попереднього$\mu$

$$\begin{align} E(\mu' \mid x) &= \frac{\sigma^2\mu + \sigma^2_0 x}{\sigma^2 + \sigma^2_0} \\[7pt] \mathrm{Var}(\mu' \mid x) &= \frac{\sigma^2 \sigma^2_0}{\sigma^2 + \sigma^2_0} \end{align}$$

На жаль, такі прості рішення закритої форми не доступні для більш складних проблем, і вам доведеться покладатися на алгоритми оптимізації (для точкових оцінок, що використовують максимально післярічний підхід) або моделювання MCMC.

Нижче ви можете побачити приклад даних:

n <- 1000
set.seed(123)
x     <- rnorm(n, 1.4, 2.7)
mu    <- numeric(n)
sigma <- numeric(n)

mu[1]    <- (10000*x[i] + (2.7^2)*0)/(10000+2.7^2)
sigma[1] <- (10000*2.7^2)/(10000+2.7^2)
for (i in 2:n) {
  mu[i]    <- ( sigma[i-1]*x[i] + (2.7^2)*mu[i-1] )/(sigma[i-1]+2.7^2)
  sigma[i] <- ( sigma[i-1]*2.7^2                  )/(sigma[i-1]+2.7^2)
}

Якщо побудувати графік результатів, ви побачите, як задній наближається до оціночного значення (його справжнє значення позначено червоною лінією) при накопиченні нових даних.

Щоб дізнатися більше, ви можете перевірити ці слайди та кон'югатний байесівський аналіз газети про розподіл Гаусса Кевіна П. Мерфі. Перевірте також, чи не стають байєсові пріори великі розміри вибірки? Ви також можете перевірити ці замітки та цей запис у блозі на предмет доступного покрокового ознайомлення з байєсівським висновком.

Якщо у вас є попередній і вірогідна функція P ( x ∣ θ ), ви можете обчислити задню частину за допомогою:$P(\theta)$$P(x \mid \theta)$

$$P(\theta \mid x) = \frac{\sum_\theta P(x \mid \theta) P(\theta)}{P(x)}$$

Оскільки $P(x)$ - просто константа нормалізації, щоб звести ймовірності до одиниці, ви можете написати:

$$P(\theta \mid x) \sim \sum_\theta P(x \mid \theta)P(\theta)$$

Де $\sim$ означає "пропорційний".

Випадок сполучених пріорів (де ви часто отримуєте приємні формули закритої форми)

$\boldsymbol{\theta}$$P(\boldsymbol{\theta})$$P(\mathbf{x} \mid \boldsymbol{\theta})$$P(\boldsymbol{\theta})$ $P(\boldsymbol{\theta} \mid \mathbf{x})$ знаходяться в одній родині (наприклад, обидва гауссові).

Таблиця сполучених розподілів може допомогти побудувати певну інтуїцію (а також навести кілька повчальних прикладів для роботи над собою).

Це головне питання обчислення для аналізу даних Байеса. Це дійсно залежить від залучених даних та розповсюдження. Для простих випадків, коли все можна виразити у закритій формі (наприклад, зі сполученими пріорами), можна використовувати теорему Байєса безпосередньо. Найпопулярніша сім'я технік для більш складних випадків - це ланцюжок Марків Монте-Карло. Детальніше дивіться будь-який вступний підручник з аналізу даних Байеса.