Плутанина, пов'язана з вибіркою Гіббса

Я натрапив на цю статтю, де сказано, що в вибірці Гіббса приймається кожен зразок. Я трохи розгублений. Як прийти, якщо кожен зразок, який він прийняв, переходить до нерухомого розподілу.

Загалом алгоритм Метрополіса приймаємо як min (1, p (x *) / p (x)), де x * - точка вибірки. Я припускаю, що x * вказує нам на положення, де щільність висока, тому ми рухаємося до цільового розподілу. Отже, я припускаю, що він рухається до розподілу цілі після опіку протягом періоду.

Однак у вибірці Гіббса ми приймаємо все так, навіть якщо це може перенести нас в інше місце, як можна сказати, що воно сходиться до стаціонарного / цільового розподілу

Припустимо, у нас є розподіл $p(\theta) = c(\theta)/Z$ . Ми не можемо обчислити Z. В алгоритмі метрополії ми використовуємо термін $c(\theta^{new})/c(\theta^{old})$ включити розподіл $c(\theta)$ плюс нормалізуюча константа Z скасовується. Так це добре

Але в вибірці Гіббса, де ми використовуємо розподіл $c(\theta)$

Для , наприклад , в роботі http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf даної її

тож у нас немає точного умовного розподілу для вибірки, у нас просто є щось, прямо пропорційне умовному розподілу

введіть тут опис зображення

mcmc gibbs metropolis-hastings

— користувач34790
джерело

Що було б у Метрополісі-Гастінгсі, якби

p (x *) / p (x)

$p(x*)/p(x)$ завжди був 1?

— Glen_b -Встановіть Моніку

Відповіді:

Коли ми використовуємо алгоритм Метрополіс-Гастінгс, ми повинні обчислити коефіцієнт прийняття

α = хв (1, \frac{p (х^{*})}{p (х)})

$\alpha=\min(1,\frac{p(x^*)}{p(x)})$ і нехай випадкова величина тоді ми приймаємо випадкову змінну, якщо .

U \sim Uniform(0,1)

$U\sim\text{Uniform(0,1)}$

U < α

$U<\alpha$

Однак у вибірці Гіббса ми завжди, окрім випадкової величини, тому що нам не доводиться обчислювати коефіцієнт прийняття (добре, що ти насправді робиш, але коли ви підключаєте речі, ви бачите, що все скасовується, а ваш коефіцієнт прийняття - і так чітко завжди менше, ніж і тому ти завжди приймаєш). Однак ви також можете зрозуміти це інтуїтивно, де в вибірці Гіббса ви берете вибірку з повних умов, що є виразом закритої форми, який ми можемо вибирати безпосередньо, і тому немає необхідності відкидати зразки, як в алгоритмі Metropolis-Hastings, де ми не знаю, як взяти вибірку з (або зазвичай не розпізнають форму) . Сподіваюся, що це допомагає! $\alpha=1$ $U$ $\alpha$ $p(x)$

введіть тут опис зображення

Я не зрозумів, як це все скасовується. Добре скажемо, що ми повинні взяти вибірку з розподілу трьох змінних. Отже, коли ви мали намір сказати повні умовні умови у виразі закритої форми, ви маєте на увазі p (x1 | x2, x3) p (x2 | x1, x3) та p (x3 | x1, x2). Моє запитання полягає у тому, що у випадку вибірки Гіббса ми знаємо умовний розподіл, отриманий із фактичного розподілу p, з якого ми хочемо зробити вибірку. Це ви маєте на увазі. У випадку алгоритму Metropolis ми не знаємо p, але щось на зразок c таке, що p (x) = c (x) / Z ??

p (θ)

$p(\theta)$

— користувач34790

Припустимо, ми почнемо зі випадкових значень змінних x1, x2 та x3, як можна сказати, що його стаціонарний розподіл конвергує потрібне. Які критерії для цього?

— користувач34790

Припустимо , у мене є розподіл . Я не знаю Z. Тож як би я

p (θ) = c (θ) / Z

$p(\theta) = c(\theta)/Z$

p (θ)

$p(\theta)$

— взяв

Я додав доказ вище, чому це завжди одне. Щоб використовувати вибірку Gibbs, ви повинні знати, що таке повні умови.

Доказ того, що швидкість прийняття дорівнює 1 як помилка друку, тобто в знаменнику в середній та третій частині, вираз q має мати z_i простих, так що в кінцевому підсумку ви отримаєте P (z_i prime | z_i prime).

Олексій

— user60803
джерело