Відбір проб Гіббса порівняно із загальним MH-MCMC

20

Я щойно читав про вибірку Гіббса та алгоритм Metropolis Hastings і маю пару питань.

Як я розумію, у випадку вибірки Гіббса, якщо у нас є велика багатоваріантна проблема, ми беремо вибірку з умовного розподілу, тобто вибірки однієї змінної, зберігаючи всі інші фіксованими, тоді як у MH ми робимо вибірку від повного спільного розподілу.

Одне, в чому було сказано в документі, - це те, що запропонований зразок завжди приймається в Gibbs Sampling, тобто швидкість прийому пропозицій завжди 1. Мені це здається великою перевагою, оскільки для великих багатоваріантних проблем здається, що швидкість відхилення для алгоритму MH стає досить великою . Якщо це дійсно так, то яка причина того, що Гіббс-пробник не використовував весь час для створення заднього розподілу?

— Лука
джерело

11

Добре побудована багатоваріантна пропозиція щодо МЗ може значно перевершити вибірку Гіббса, навіть коли можливий вибірки з умовних умов (наприклад, багатовимірний багатовимірний нормальний показник, HMC б'є Гіббса з великим запасом, коли змінні сильно корелюються). Це тому, що вибірки Гіббса не дозволяють змінним розвиватися спільно. Це щось аналогічно оптимізації функції шляхом ітеративної оптимізації окремих аргументів - ви можете зробити краще, якщо оптимізувати wrt всі аргументи спільно, а не кожен послідовно, навіть якщо це зробити легше .

— хлопець

Метрополіс-Гастінгс може взяти вибірку, використовуючи пропозиції для умовного. Ви маєте на увазі певний вид МЗ?

— Glen_b -Встановіть Моніку

1

Дякуємо за коментар Ні, я взагалі просто думав, чому Gibbs Sampler не використовується частіше. упустив той факт, що умовна форма розподілу повинна бути апріорно відома для вибірки Гіббса. Для моїх поточних потреб здається, що комбінація працює найкраще. Отже, використовуйте крок MH для підмножини параметрів, зберігаючи інших постійними, а потім використовуйте Гіббс для іншого підмножини (де умову легко оцінити аналітично). Я тільки починаю з цього, тому ще не знаю про різні види МЗ. Будь-яка порада з цього приводу цінується :-)

— Лука

12

Основне обґрунтування використання алгоритму Metropolis полягає в тому, що ви можете використовувати його навіть тоді, коли отриманий задній невідомий. Для вибірки Гіббса ви повинні знати задні дистрибутиви, з яких ви отримуєте варіанти.

— користувач3777456
джерело

1

Дякую за відповідь! Отже, для GS ідея полягає в тому, що умовні умови - це простіші розподіли, які можна легко відібрати на вибірку, тоді як спільний розподіл, хоча відомий, може бути складним розподілом, з якого складно відібрати вибірку?

— Лука

2

Так, це правда. Однак часто зразки Гіббса та Метрополіс використовуються спільно. Таким чином, кондиціонування деяких змінних може давати вам задню форму закритої форми, тоді як для інших це неможливо, і вам доведеться використовувати "крок метрополії". У цьому випадку ви повинні вирішити, для якого типу метрополіса-пробовідбірника (незалежність, випадковий пробіг) ви йдете та яку щільність пропозицій ви використовуєте. Але я здогадуюсь це надто далеко, і вам слід скоріше прочитати цей матеріал для себе.

— користувач3777456

3

Вибірка Гіббса розбиває прокляття розмірності у вибірці, оскільки ви розділили (можливо, високий розмір) простір параметрів на кілька низькомірних кроків. Метрополіс-Гастінгс полегшує деякі мірні проблеми генерування методів відбору проб відхилення, але ви все ще вибираєте вибірку з повного багатовимірного розподілу (і приймаєте рішення про прийняття / відхилення вибірки), через що алгоритм страждає від прокляття розмірності.

Подумайте про це таким спрощеним способом: набагато простіше запропонувати оновлення для однієї змінної за один раз (Гіббс), ніж всі змінні одночасно (Metropolis Hastings).

Зважаючи на це, розмірність простору параметрів все ще вплине на конвергенцію як у Гіббса, так і в Метрополіс Гастінгсі, оскільки існує більше параметрів, які потенційно не можуть збігатися.

Гіббс також приємний тим, що кожен крок циклу Гіббса може бути у закритому вигляді. Це часто трапляється в ієрархічних моделях, де кожен параметр обумовлений лише кількома іншими. Часто буває досить просто побудувати свою модель так, щоб кожен крок Гіббса був у закритому вигляді (коли кожен крок поєднується, його іноді називають «напівзв’язаним»). Це добре, тому що ви берете вибірку з відомих дистрибутивів, які часто можуть бути дуже швидкими.

— TrynnaDoStat
джерело

"Вибірка Гіббса руйнує прокляття розмірності в вибірці": насправді вибірки Гіббса мають тенденцію робити набагато гірше, ніж щось на зразок Метрополіса Гастінгса з коваріаційною матрицею адаптивного пропозиції.

— Cliff AB