Як отримати вибірку Гіббса?

Я насправді вагаюся з цим запитати, бо боюся, що мене віднесуть до інших питань або Вікіпедії щодо вибірки Гіббса, але я не маю відчуття, що вони описують те, що під рукою.

Дана умовна ймовірність : $p(x|y)$

\begin{array}{ccc} p (x | y) & y = y_{0} & y = y_{1} \\ x = x_{0} & \frac{1}{4} & \frac{2}{6} \\ x = x_{1} & \frac{3}{4} & \frac{4}{6} \end{array}

$\begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array}$

І умовна ймовірність : $p(y|x)$

\begin{array}{ccc} p (y | x) & y = y_{0} & y = y_{1} \\ x = x_{0} & \frac{1}{3} & \frac{2}{3} \\ x = x_{1} & \frac{3}{7} & \frac{4}{7} \end{array}

$\begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{3} & \tfrac{2}{3} \\ \hline x = x_1 & \tfrac{3}{7} & \tfrac{4}{7} \\ \end{array}$

Ми можемо однозначно придумати спільну ймовірність : $f_{unique}=p(x,y)$

\begin{array}{cccc} p (x, y) & y = y_{0} & y = y_{1} & p (x) \\ x = x_{0} & a_{0} & a_{1} & c_{0} \\ x = x_{1} & a_{2} & a_{3} & c_{1} \\ p (y) & b_{0} & b_{1} \end{array}

$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & a_0 & a_1 & c_0 \\ \hline x = x_1 & a_2 & a_3 & c_1 \\ \hline p(y) & b_0 & b_1 & \\ \end{array}$

Тому що, хоча у нас є невідомих, у нас є більше ( ) лінійних рівнянь: $8$ $4*2+3$

$a_0+a_1+a_2+a_3=1 \\ b_0+b_1 = 1 \\ c_0+c_1 = 1$

Так добре як:

$\tfrac{1}{4} b_0 = a_0 \\ \tfrac{3}{4} b_0 = a_2 \\ \tfrac{2}{6} (1-b_0) = a_1 \\ \tfrac{4}{6} (1-b_0) = a_3 \\ \tfrac{1}{3} c_0 = a_0 \\ \tfrac{2}{3} c_0 = a_1 \\ \tfrac{3}{7} (1-c_0) = a_2 \\ \tfrac{4}{7} (1-c_0) = a_3$

Це швидко вирішується , . А саме шляхом з . Це дає а решта випливає. $c_0=\tfrac{3}{4}b_0$ $\tfrac{2}{3}c_0=a_1$ $\tfrac{2}{4}b_0=a_1$ $\tfrac{2}{6}(1-b_0)=a_1$ $b_0=\tfrac{2}{5}$

\begin{array}{cccc} p (x, y) & y = y_{0} & y = y_{1} & p (x) \\ x = x_{0} & \frac{1}{10} & \frac{2}{10} & \frac{3}{10} \\ x = x_{1} & \frac{3}{10} & \frac{4}{10} & \frac{7}{10} \\ p (y) & \frac{4}{10} & \frac{6}{10} \end{array}

$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & \tfrac{1}{10} & \tfrac{2}{10} & \tfrac{3}{10} \\ \hline x = x_1 & \tfrac{3}{10} & \tfrac{4}{10} & \tfrac{7}{10} \\ \hline p(y) & \tfrac{4}{10} & \tfrac{6}{10} & \\ \end{array}$

Отже, зараз ми переходимо до безперервної справи. Можна уявити інтервали та тримати вищезгадану структуру в такті (з більшою кількістю рівнянь, ніж невідомих). Однак, що відбувається, коли ми переходимо до (точки) випадкових випадків змінних? Як проводиться відбір проб

x_{a} \sim p (x | y = y_{b}) y_{b} \sim p (y | x = x_{a})

$x_a \sim p(x|y=y_b) \\ y_b \sim p(y|x=x_a)$

ітеративно, привести до ? Як еквівалент обмеження , як це забезпечує ? Аналогічно з . Чи можемо ми записати обмеження та вивести вибірку Гіббса з перших принципів? $p(x,y)$ $a_0 + a_1 + a_2 + a_3=1$ $\int_X \int_Y p(x,y) dy dx = 1$ $\int_Y p(y|x)dy=1$

Отже, мене не цікавить, як виконати відбір проб Гіббса, що є простим, але мене цікавить, як його отримати, а краще, як довести, що він працює (можливо, за певних умов).

sampling mcmc gibbs

— Енн ван Россум
джерело

Обчислити спільний розподіл із умовних розподілів взагалі дуже складно. Якщо умовні розподіли обрані довільно, спільний спільний розподіл може навіть не існувати. У цьому випадку навіть показати, що умовні розподіли є послідовними, як правило, важко. Одним з результатів, який може бути використаний для отримання спільного розподілу, є лема Брука , вибравши фіксований стан , хоча я ніколи не використовував його успішно для цієї мети. Більше про цю тему я би роздивився твір Джуліана Бесага.

\frac{p (x)}{p (x^{'})} = \prod_{i} \frac{p (x_{i} ∣ x_{< i}, x_{> i}^{'})}{p (x_{i}^{'} ∣ x_{< i}, x_{> i}^{'})},

$\frac{p(\mathbf{x})}{p(\mathbf{x}')} = \prod_i \frac{p(x_i \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})}{p(x_i' \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})},$

x^{'}

$\mathbf{x}'$

Щоб довести, що вибірки Гіббса працюють, однак, краще взяти інший маршрут. Якщо ланцюг Маркова, реалізований алгоритмом вибірки, має розподіл як інваріантний розподіл і є невідмінним та апериодичним , то ланцюг Маркова сходиться до цього розподілу (Tierney, 1994) . $p$

Вибірка Гіббса завжди залишить спільний розподіл інваріантним, з якого були отримані умовні розподіли: Приблизно, якщо і ми , то $(x_0, y_0) \sim p(x_0, y_0)$ $x_1 \sim p(x_1 \mid y_0)$

(x_{1}, y_{0}) \sim \int p (x_{0}, y_{0}) p (x_{1} ∣ y_{0}) d x_{0} = p (x_{1} ∣ y_{0}) p (y_{0}) = p (x_{1}, y_{0}) .

$(x_1, y_0) \sim \int p(x_0, y_0) p(x_1 \mid y_0) \, dx_0 = p(x_1 \mid y_0) p(y_0) = p(x_1, y_0).$

Тобто оновлення шляхом умовного вибірки не змінює розподілу вибірки. $x$

Однак вибірки Гіббса не завжди є невідводимими . Хоча ми завжди можемо застосувати його, не порушуючи речі (в тому сенсі, що якщо у нас вже є зразок із потрібного розподілу, воно не змінить розподіл), від спільного розподілу залежить, чи насправді вибірка Гіббса насправді до неї сходиться (достатня проста Умова невідводимості полягає в тому, що щільність скрізь позитивна, ). $p(\mathbf{x}) > 0$

— Лукас
джерело

Цікава проблема сумісності. Зараз я перевіряю "Сумісність кінцевих дискретних умовних розподілів" (Song et al.), Які використовують "матрицю відношення" для встановлення сумісності та унікальності. Таким чином, Гіббс не може бути похідним від цих обмежень, оскільки вони не повинні застосовуватися для початку. Я можу собі уявити, що він може повернути деякий неправильний спільний розподіл (сума> 1), якщо, наприклад, умовні розподіли несумісні. Я якось, однак, маю відчуття, що те, що я роблю, є чимось детермінованим, чимось схожим на перетворення Радона. Відбір проб Гіббса виглядає так ... брудно.

— Енн ван Россум