Чи гарантує алгоритм відбору зразків Гіббса детальний баланс?

Я маю на вищому повноваженні ^1, що вибірки Гіббса є особливим випадком алгоритму Метрополіс-Гастінгса для вибірки Маркова ланцюга Монте-Карло. Алгоритм MH завжди дає ймовірність переходу із властивістю детального балансу; Я очікую, що Гіббс теж повинен. То де я в наступному простому випадку помилився?

Для цільового розподілу на двох дискретних (для простоти) змінних повними умовними розподілами є: $\pi(x, y)$

\begin{aligned} q_{1} (x; y) & = \frac{π (x, y)}{\sum_{z} π (z, y)} \\ q_{2} (y; x) & = \frac{π (x, y)}{\sum_{z} π (x, z)} \end{aligned}

$\begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align}$

Як я розумію вибірки Гіббса, ймовірність переходу може бути записана:

P r o b {(y_{1}, y_{2}) \to (x_{1}, x_{2})} = q_{1} (x_{1}; y_{2}) q_{2} (x_{2}; x_{1})

$Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1)$

Питання в тому, чи але найближче, що я можу отримати, - Це тонко різне і не передбачає детального балансу. Дякую за будь-які думки!

π (y_{1}, y_{2}) P r o b {(y_{1}, y_{2}) \to (x_{1}, x_{2})} \overset{?}{=} π (x_{1}, x_{2}) P r o b {(x_{1}, x_{2}) \to (y_{1}, y_{2})},

$\pi(y_1,y_2) Prob\{(y_1, y_2) \to (x_1, x_2)\} \overset{?}{=} \pi(x_1,x_2) Prob\{(x_1, x_2) \to (y_1, y_2)\},$

\begin{aligned} π (y_{1}, y_{2}) P r o b {(y_{1}, y_{2}) & \to (x_{1}, x_{2})} \\ = π (y_{1}, y_{2}) q_{2} (x_{2}; x_{1}) q_{1} (x_{1}; y_{2}) \\ = \frac{π (x_{1}, x_{2})}{\sum_{z} π (x_{1}, z)} \frac{π (x_{1}, y_{2})}{\sum_{z} π (z, y_{2})} π (y_{1}, y_{2}) \\ = π (x_{1}, x_{2}) q_{2} (y_{2}; x_{1}) q_{1} (y_{1}; y_{2}) \end{aligned}

$\begin{align} \pi(y_1,y_2) Prob\{(y_1, y_2) & \to (x_1, x_2)\} \\ & = \pi(y_1, y_2) q_2(x_2; x_1) q_1(x_1; y_2) \\ & = \frac{\pi(x_1, x_2)}{\sum_z \pi(x_1,z)}\frac{\pi(x_1, y_2)}{\sum_z \pi(z, y_2)}\pi (y_1, y_2) \\ & = \pi(x_1, x_2) q_2(y_2; x_1) q_1(y_1; y_2) \end{align}$

mcmc gibbs

— Ян
джерело

Ви спробували показати детальний баланс для ланцюга Маркова, який отримують, вважаючи один перехід ланцюга Маркова "розгорткою Гіббса", де ви вибираєте кожен компонент по черзі з його умовного розподілу. Для цього ланцюга детальний баланс не виконується. Сенс у тому, що кожен вибірки певного компонента з його умовного розподілу є переходом, який задовольняє детальний баланс. Точніше було б сказати, що вибірки Гіббса - це особливий випадок злегка узагальненого Метрополіс-Гастінгса, де ви чергуєте безліч різних пропозицій. Детальніше читайте далі.

Промітки не задовольняють детальний баланс

Я будую контрприклад. Розглянемо дві змінні Бернуллі ( ) з ймовірностями, як показано в наступній таблиці: $X_1,X_2$ Припустимо, що розгортка Гіббса впорядкована таким чином, щоббуло відібрано спочатку. Перейти з стануу станодним рухом неможливо, оскільки це вимагатиме переходу віддо. Однак перехід віддомає позитивну ймовірність, а саме

\begin{array}{ccc} X_{2} = 0 & X_{2} = 1 \\ X_{1} = 0 & \frac{1}{3} & \frac{1}{3} \\ X_{1} = 1 & 0 & \frac{1}{3} \end{array}

$\begin{equation} \begin{array}{ccc} & X_2 = 0 & X_2 = 1 \\ X_1 = 0 & \frac{1}{3} & \frac{1}{3} \\ X_1 = 1 & 0 & \frac{1}{3} \end{array} \end{equation}$

X_{1}

$X_1$

(0, 0)

$(0,0)$

(1, 1)

$(1,1)$

(0, 0)

$(0,0)$

(1, 0)

$(1,0)$

(1, 1)

$(1,1)$

(0, 0)

$(0,0)$

. Отже ми робимо висновок, що детальний баланс не виконується.

\frac{1}{4}

$\frac{1}{4}$

Однак цей ланцюг все ще має стаціонарний розподіл, який є правильним. Детальний баланс є достатньою, але не необхідною умовою для наближення до цільового розподілу.

Компонентні ходи задовольняють детальний баланс

Розглянемо стан з двома змінними, де ми вибираємо першу змінну з її умовного розподілу. Переміщення між і має нульову ймовірність в обох напрямках, якщо і, таким чином, для цих випадків чітко виконується детальний баланс. Далі розглянемо : $(x_1,x_2)$ $(y_1,y_2)$ $x_2 \neq y_2$ $x_2 = y_2$

π (x_{1}, x_{2}) P r o b ((x_{1}, x_{2}) \to (y_{1}, x_{2})) = π (x_{1}, x_{2}) p (y_{1} ∣ X_{2} = x_{2}) = π (x_{1}, x_{2}) \frac{π (y_{1}, x_{2})}{\sum_{z} π (z, x_{2})} = π (y_{1}, x_{2}) \frac{π (x_{1}, x_{2})}{\sum_{z} π (z, x_{2})} = π (y_{1}, x_{2}) p (x_{1} ∣ X_{2} = x_{2}) = π (y_{1}, x_{2}) P r o b ((y_{1}, x_{2}) \to (x_{1}, x_{2})) .

$\begin{equation} \pi(x_1,x_2) \mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2)) = \pi(x_1,x_2)\,p(y_1 \mid X_2 = x_2) = \pi(x_1,x_2) \, \frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)} \\ = \pi(y_1,x_2) \, \frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)} = \pi(y_1,x_2) \,p(x_1 \mid X_2 = x_2) = \pi(y_1,x_2) \mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2)). \end{equation}$

Як рухаються складовими рухами Метрополіс-Гастінгс?

$1$ $(x_1, x_2)$ to $(y_1, y_2)$ , the ratio of target probabilities is

\frac{π (y_{1}, x_{2})}{π (x_{1}, x_{2})} .

$\begin{equation} \frac{\pi(y_1,x_2)}{\pi(x_1,x_2)}. \end{equation}$ But the ratio of proposal probabilities is

\frac{P r o b ((y_{1}, x_{2}) \to (x_{1}, x_{2}))}{P r o b ((x_{1}, x_{2}) \to (y_{1}, x_{2}))} = \frac{\frac{π (x_{1}, x_{2})}{\sum_{z} π (z, x_{2})}}{\frac{π (y_{1}, x_{2})}{\sum_{z} π (z, x_{2})}} = \frac{π (x_{1}, x_{2})}{π (y_{1}, x_{2})} .

$\begin{equation} \frac{\mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2))}{\mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2))} = \frac{\frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)}}{\frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)}} = \frac{\pi(x_1,x_2)}{\pi(y_1,x_2)}. \end{equation}$ So, the ratio of target probabilities and the ratio of proposal probabilities are reciprocals, and thus the acceptance probability will be

1

$1$ . In this sense, each of the moves in the Gibbs sampler are special cases of Metropolis-Hastings moves. However, the overall algorithm viewed in this light is a slight generalization of the typically presented Metropolis-Hastings algorithm in that you have alternate between different proposal distributions (one for each component of the target variable).

— Juho Kokkala
джерело

Great answer, thanks (minor edit: y_2 -> x_2 in your third section). When calling the Gibbs sweep one step, is the existence of the stationary distribution (along with irreducibility and recurrence) a sufficient condition for convergence to the stationary distribution from any initial state?

— Ian

The Gibbs sampler is a composition of Metropolis-Hastings moves with acceptance probability 1. Each move is reversible but the composition is not, unless the order of the steps is random.

— Xi'an