Яка різниця між відбіркою Metropolis Гастінгсом, Гіббсом, важливістю та відхиленням?

Я намагався вивчити методи MCMC і натрапив на вибірку Metropolis Hastings, Gibbs, Importance та Rejection. Хоча деякі з цих відмінностей очевидні, тобто, як Гіббс є особливим випадком Метрополіса Гастінгса, коли ми маємо повну умову, інші менш очевидні, як, наприклад, коли ми хочемо використовувати MH у пробовідбірника Гіббса тощо. простий спосіб побачити основну частину відмінностей між кожним із них? Спасибі!

Як детально описано в нашій книзі зі статистичними методами Джорджа Казелла, Монте-Карло , ці методи використовуються для отримання зразків із заданого розподілу, з щільністю , або для отримання уявлення про цей розподіл, або для вирішення проблеми інтеграції чи оптимізації, пов'язаної з . Наприклад, щоб знайти значення або режим розподілу коли або квантил цього розподілу.f ∫ X h ( x ) f ( x ) d $f$$f$ h ( X ) X ∼ f ( x

Для порівняння методів Монте-Карло та Маркова Монте-Карло, які ви згадуєте за відповідними критеріями, потрібно встановити передумови проблеми та цілі імітаційного експерименту, оскільки плюси і мінуси кожного будуть залежати від конкретного випадку.

Ось кілька загальних зауважень, які, звичайно, не охоплюють складності питання :

1. Методи прийняття -відхилення покликані забезпечити зразок iid із . Щоб досягти цього, розробляється алгоритм, який приймає як вхід випадкове число рівномірних і повертає значення що є реалізацією від . Ці плюси в тому , що не існує наближення в методі: результат дійсно є IID вибірка з . В мінусах багато: (я) розробка алгоритму шляхом знаходження обвідної , який може бути згенерований може бути дуже дорогими в людське час; (ii) алгоритм може виявитися неефективним для обчислення часу, тобто вимагає багатьох уніформ для створення одногоu 1 , u 2 , … x f f f x X $f$$u_1,u_2,\ldots$$x$$f$$f$$f$$x$; (III) ці характеристики зменшуються з розмірністю . Коротше кажучи, такі методи не можуть бути використані для моделювання одного або декількох моделювання з якщо вони вже не доступні на комп'ютерній мові, наприклад R.$X$$f$
2. Методи ланцюга Маркова Монте-Карло (MCMC) - це розширення методів імітаційного моделювання, коли імітаційне моделювання занадто дороге. Вони виробляють послідовність моделювання обмежуючим розподілом є розподіл . Ці плюси в тому , що (я) менше інформації про необхідний для реалізації способу; (ii) може бути відомий лише до нормалі, що нормалізується, або навіть як інтеграл і як і раніше асоціюється з методом MCMC; (iii) існують загальні алгоритми MCMC для створення моделювання f f f f ( x ) ∝ ∫ Z ˜ f ( x , z ) d z ( x t ) t ( x t ) t x t t f f $(x_t)_t$$f$$f$$f$ $$f(x)\propto\int_{\mathcal{Z}} \tilde{f}(x,z)\text{d}z$$ $(x_t)_t$які потребують дуже малої калібрування; (iv) розмірність є меншою проблемою, оскільки великі розмірні цілі можуть бути розбиті на умови меншого розміру (як у вибірці Гіббса). Ці недоліки в тому , що (I) моделювання корельовані, отже , менш інформативними , ніж н.о.р. моделювання; (ii) валідація методу є лише асимптотичною, отже, існує наближення до розгляду для фіксованого як реалізації ; (iii) конвергенція до (in ) може бути настільки повільною, що алгоритм для всіх практичних цілей не збігається$(x_t)_t$$x_t$$t$$f$$f$$t$; (iv) універсальна перевірка методу означає, що існує нескінченна кількість можливих реалізацій з однаково нескінченним діапазоном ефективності.
3. Методи вибірки важливості спочатку розроблені для інтегральних наближень, а саме генеруються від неправильної цілі і компенсуються важливою вагоюОтриманий зразок таким чином зважується, що робить порівняння з вищезгаданим незручним. Однак вибіркове значення може бути перетворене на важливе перекомпонування вибірки за допомогою додаткового кроку перекомпонування на основі ваг. В плюсах , які мають важливе значення вибірки передискретизации в тому , що (я) поколінні від цільового значення може бути дешевими і рециркулируют для різних цілей ; (ii) "правильний" вибірf ( x ) / g ( x $g(x)$g f g g $$f(x)/g(x)\,.$$ $g$$f$$g$може призвести до величезних покращень у порівнянні з регулярними або MCMC вибірками; (iii) вибіркове значення має більше значення для покращення чисельної інтеграції, як, наприклад, інтеграція квазі-Монте-Карло; (iv) це може перетворитись на адаптаційні версії, такі як населення Монте-Карло та послідовний Монте-Карло. Ці недоліки в тому , що (я) передискретизации індукує неефективність (який може бути частково виправлений за рахунок зниження шуму , як в систематичному передискретизации або КМК); (ii) "неправильний" вибір може призвести до величезних втрат ефективності і навіть до нескінченної дисперсії; (iii) важливість має проблеми з великими розмірами, і її ефективність швидко зменшується з розміром; (iv) метод може бути настільки ж короткозорим, як і локальні методи MCMC у відсутніх важливих регіонах підтримки .$g$$f$

На закінчення попередження про те, що оптимального методу моделювання не існує. Навіть у конкретних параметрах, таких як наближення інтеграла витрати на проектування та використання різних методів втручаються як зробити глобальне порівняння дуже делікатним, якщо це взагалі можливо, тоді як, з формальної точки зору, вони ніколи не можуть перемогти відповідь нульової дисперсії повернення постійної "оцінки" Наприклад, моделювання з дуже рідко, якщо колись найкращий варіант. Це не означає, що методи не можна порівнювати, а що завжди існує можливість вдосконалення, що пов'язано з додатковими витратами.Я = ∫ X ч ( х ) п ( х ) д х