Чи дає MCMC, що виконує детальний баланс, стаціонарний розподіл?

12

Я думаю, що я розумію рівняння детальної умови балансу, де зазначено, що для ймовірності переходу та стаціонарного розподілу ланцюг Маркова задовольняє детальний баланс, якщо $q$ $\pi$

q (x | y) π (y) = q (y | x) π (x),

$q(x|y)\pi(y)=q(y|x)\pi(x),$

це має більше сенсу для мене, якщо я перезавантажую його як:

\frac{q (x | y)}{q (y | x)} = \frac{π (x)}{π (y)} .

$\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}.$

В основному, ймовірність переходу зі стану у стан повинна бути пропорційною відношенню їх щільності ймовірності. $x$ $y$

probability mcmc markov-process

— Майк Флінн
джерело

10

Це неправда, що MCMC, що виконує детальний баланс, завжди дає стаціонарний розподіл. Вам також потрібно, щоб процес був ергодичним . Давайте розберемося, чому:

Розглянемо як стан заданих усіх можливих станів та ідентифікуємо його за допомогою індексу . У марківському процесі розвивається розподіл відповідно до $x$ $i$ $p_t(i)$

p_{t} (i) = \sum_{j} Ω_{j \to i} p_{t - 1} (j)

$p_t(i) = \sum_{j} \Omega_{j \rightarrow i} p_{t-1}(j)$

де - матриця, що позначає ймовірності переходу (ваш ). $\Omega_{j \rightarrow i}$ $q(x|y)$

Отже, у нас це є

p_{t} (i) = \sum_{j} (Ω_{j \to i})^{t} p_{0} (j)

$p_t(i) = \sum_{j} (\Omega_{j \rightarrow i})^t p_{0}(j)$

Той факт, що є ймовірністю переходу, означає, що її власні значення повинні належати до інтервалу [0,1]. $\Omega_{j \rightarrow i}$

Для того, щоб будь-який початковий розподіл переходив до асимптотичного, ви повинні переконатися, що $p_{0}(j)$

1 Існує лише одне власне значення зі значенням 1 і має унікальний ненульовий власний вектор. $\Omega$

Щоб переконатися, що - це асимптотичний розподіл, вам потрібно це забезпечити $\pi$

2 Власний вектор, пов'язаний із власним значенням 1, є . $\pi$

Ергодичність означає 1., детальний баланс передбачає 2., і тому обидва утворюють необхідну і достатню умову асимптотичної конвергенції.

Чому детальний баланс передбачає 2:

Починаючи з

p (i) Ω_{i j} = Ω_{j i} p (j)

$p(i)\Omega_{ij} = \Omega_{ji} p(j)$

і підсумовуючи в обох сторонах, отримуємо $j$

p (i) = \sum_{j} Ω_{j i} p (j)

$p(i) = \sum_{j}\Omega_{ji} p(j)$

тому що , оскільки ти завжди кудись . $\sum_{j} \Omega_{ij} = 1$

Наведене рівняння - це визначення власного значення 1, (простіше зрозуміти, чи записуєте ви його у векторній формі :)

1. v = Ω \cdot v

$1.v = \Omega\cdot v$

— Хорхе Лейтао
джерело

ОП не запитує, унікальна вона чи ні, він запитує, як МСМЗ з детальним балансом достатньо для отримання інваріантної щільності ймовірності.

— гацу

1

Перше речення цієї відповіді - «Неправда, що MCMC, що виконує детальний баланс, завжди дає стаціонарний розподіл». Отже, ні, детального балансу недостатньо для отримання урожайності та інваріантної щільності ... Як це не відповідає на питання?

— Хорхе Лейтао

0

Я думаю, що це так, тому що для невідводимого МС, якщо детальний баланс задовольняється, він має унікальний стаціонарний розподіл, але для того, щоб він був незалежним від початкового розподілу, він також повинен бути аперіодичним.

У випадку MCMC ми починаємо з точки даних, а потім пропонуємо нову точку. Ми можемо або не можемо перейти до запропонованої точки, тобто у нас є цикл самоврядування, який робить невідворотним MC апеліодичним.

Тепер в силу задоволення БД він також має позитивні періодичні стани, тобто середній час повернення до станів є кінцевим. Таким чином, ланцюг, який ми будуємо в MCMC, є невідворотним, аперіодичним і позитивним повторюваним, а це означає, що це ергодичний ланцюг.

Ми знаємо, що для незнижуваного ергодичного ланцюга існує нерухомий розподіл, який є унікальним і незалежним від початкового розподілу.

— Сіддхарт Шакья
джерело