Розуміння байесівських прогнозних розподілів

9

Я проходжу курс «Вступ до Байєса» і мені виникають труднощі в розумінні прогнозних розподілів. Я розумію, чому вони корисні, і я знайомий з визначенням, але є деякі речі, які я не зовсім розумію.

1) Як отримати правильний прогнозний розподіл для вектора нових спостережень

Припустимо, що ми побудували модель вибірки для даних та попереднього . Припустимо, що спостереження умовно незалежні, задані . $p(y_i | \theta)$ $p(\theta)$ $y_i$ $\theta$

Ми спостерігали деякі дані , і ми оновлюємо попереднє до заднього . $\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}$ $p(\theta)$ $p(\theta | \mathcal{D})$

Якби ми хотіли передбачити вектор нових спостережень , я думаю, нам слід спробувати отримати задній прогноз, використовуючи цю формулу що не дорівнює тож прогнозовані спостереження не є незалежними, правда? $\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}$

p (N | D) = \int p (θ | D) p (N | θ) d θ = \int p (θ | D) \prod_{i = 1}^{n} p ({\tilde{y}}_{i} | θ) d θ,

$p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

\prod_{i = 1}^{n} \int p (θ | D) p ({\tilde{y}}_{i} | θ) d θ,

$\prod_{i=1}^n \int p(\theta | \mathcal{D}) p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

Скажіть, що Beta ( ) і Binomial ( ) для фіксованого . У цьому випадку, якщо я хотів би змоделювати 6 нових , якщо я це правильно зрозумів, було б неправильно імітувати 6 малюнків незалежно від бета-біноміального розподілу, що відповідає передньому прогнозуванню для одного спостереження. Це правильно? Я не знаю, як трактувати, що спостереження незначно не залежать, і я не впевнений, що я правильно це розумію. $\theta | \mathcal{D} \sim$ $a,b$ $p(y_i | \theta) \sim$ $n, \theta$ $n$ $\tilde{y}$

Моделювання від заднього прогнозу

Багато разів, коли ми моделюємо дані із заднього передбачення, ми дотримуємось цієї схеми:

Для від 1 до : $b$ $B$

1) Зразок з . $\theta^{(b)}$ $p(\theta | \mathcal{D})$

2) Потім моделюйте нові дані з . $\mathcal{N}^{(b)}$ $p(\mathcal{N} | \theta^{(b)})$

Я не зовсім знаю, як довести, що ця схема працює, хоча це виглядає інтуїтивно. Також, чи має це ім’я? Я намагався шукати виправдання, і я спробував різні назви, але мені не пощастило.

Дякую!

bayesian prediction

— Фред Л.
джерело

Я задав подібне запитання на сайті stats.stackexchange.com/questions/72570/…, але схоже, що ваш голос отримав більше голосів.

— Джон

4

Припустимо, що умовно незалежні, враховуючи, що . Тоді в яких перша рівність випливає із закону сумарної ймовірності, друга випливає з правила добутку, а третя - з передбачуваної умовної незалежності: з урахуванням значення $X_1,\dots,X_n,X_{n+1}$ $\Theta=\theta$

f_{Х_{н + 1} ∣ Х_{1}, \dots, Х_{н}} (х_{н + 1} ∣ х_{1}, \dots, х_{н}) = \int f_{Х_{н + 1}, Θ ∣ Х_{1}, \dots, Х_{н}} (х_{н + 1}, θ ∣ х_{1}, \dots, х_{н}) г θ

$f_{X_{n+1}\mid X_1,\dots,X_n}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1},\Theta\mid X_1,\dots,X_n}(x_{n+1},\theta\mid x_1,\dots,x_n)\,d\theta$

= \int f_{Х_{н + 1} ∣ Θ, Х_{1}, \dots, Х_{н}} (х_{н + 1} ∣ θ, х_{1}, \dots, х_{н}) f_{Θ ∣ Х_{1}, \dots, Х_{н}} (θ ∣ х_{1}, \dots, х_{н}) г θ

$= \int f_{X_{n+1}\mid\Theta,X_1,\dots,X_n}(x_{n+1}\mid\theta,x_1,\dots,x_n) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta$

= \int f_{Х_{н + 1} ∣ Θ} (х_{н + 1} ∣ θ) f_{Θ ∣ Х_{1}, \dots, Х_{н}} (θ ∣ х_{1}, \dots, х_{н}) г θ,

$= \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta \, ,$

Θ

$\Theta$ , нам не потрібні значення для визначення розподілу .

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$

X_{n + 1}

$X_{n+1}$

Схема імітації правильна: для , малюємо з розподілу , потім малюємо з розподілу . Це дає вам зразок з розподілу . $i=1,\dots,N$ $\theta^{(i)}$ $\Theta\mid X_1=x_1,\dots,X_n=x_n$ $x_{n+1}^{(i)}$ $X_{n+1}\mid\Theta=\theta^{(i)}$ $\{x_{n+1}^{(i)}\}_{i=1}^N$ $X_{n+1}\mid X_1=x_1,\dots,X_n=x_n$

— Дзен
джерело

Що робити, якщо ви отримуєте задній прогноз протягом декількох періодів? Я використовую для кожного , але я бачу, чому може бути сенс перемальовувати нову тету.

θ^{(i)}

$\theta^{\left(i\right)}$

x_{n + j}

$x_{n+j}$

— Іван

2

Я спробую розібратися з інтуїцією, що створює крок за кроком заднього прогнозного розподілу.

Нехай - вектор спостережуваних даних, що походять від розподілу ймовірності і - вектор майбутніх (або поза вибіркою) значень, які ми хочемо передбачити. Будемо вважати, що походить від того ж розподілу, що і . Для отримання інформації про цей розподіл може бути заманливо використовувати найкращу оцінку ---, наприклад, оцінку MLE або MAP ---. Однак це неминуче ігнорує нашу невизначеність щодо . Таким чином, відповідним способом просування є середнє значення по задньому розподілу , а саме . Зауважте також, що $y$ $p(y|\theta)$ $\tilde y$ $\tilde y$ $y$ $\theta$ $\theta$ $\theta$ $p(\theta|y)$ $\tilde y$ не залежить від даного , так як передбачається , є незалежним зразок з того ж розподілу , як . Таким чином, $y$ $\theta$ $y$

p (\tilde{y} | θ, y) = \frac{p (\tilde{y}, y | θ) p (θ)}{p (θ, y)} = \frac{p (\tilde{y} | θ) p (y | θ) p (θ)}{p (y | θ) p (θ)} = p (\tilde{y} | θ) .

$\displaystyle p(\tilde y| \theta, y) = \frac{p(\tilde y, y|\theta )p(\theta)}{p(\theta, y)} = \frac{p(\tilde y|\theta )p(y |\theta) p(\theta)}{p(y| \theta)p(\theta)} = p(\tilde y |\theta).$

Таким чином, задній прогнозний розподіл є, $\tilde y$

p (\tilde{y} | y) = \int_{Θ} p (\tilde{y} | θ, y) p (θ | y) d θ = \int_{Θ} p (\tilde{y} | θ) p (θ | y) d θ

де - це підтримка . $\Theta$ $\theta$

Тепер, як отримати зразки з ? Описаний вами метод іноді називають методом композиції , який працює наступним чином: $p(\tilde y|y)$

для s = 1,2, ..., S

малювати з $\theta^{(s)}$ $p(\theta|y)$

малювати з $\tilde y^{(s)}$ $p(\tilde y|\theta^{(s)})$

де, у більшості ситуацій, ми маємо малюнки з , так що потрібен лише другий крок. $p(\theta|y)$

Причина, чому це працює, досить проста: Спочатку зауважте, що . Таким чином, вибір вибір параметру вектора з а потім, використовуючи цей вектор для вибірки з дає зразки з спільного розподілу . Звідси випливає, що вибіркові значення - вибірки з граничного розподілу, . $p(\tilde y, \theta | y) = p(\tilde y| \theta, y)p(\theta | y)$ $\theta^{(s)}$ $p(\theta|y)$ $\tilde y^{(s)}$ $p(\tilde y | \theta^{(s)}) = p(\tilde y | \theta^{(s)}, y)$ $p(\tilde y, \theta|y)$ $\tilde y^{(s)}, s=1,2,...,S$ $p(\tilde y|y)$

— баруум
джерело

1

Щоб вирішити ваше перше питання: так, спостереження не є незалежними, якщо ви не знаєте значення . Скажімо, ви помітили, що має досить екстремальне значення. Це може бути вказівкою на те, що невідоме значення самого є крайнім, і, таким чином, слід очікувати, що й інші спостереження будуть крайніми. $\theta$ $\tilde{y}_1$ $\theta$

— hr0nix
джерело