Ефективний розмір зразка для заднього висновку з відбору проб MCMC

Отримуючи зразки MCMC, щоб зробити висновок за певним параметром, які хороші орієнтири щодо мінімальної кількості ефективних вибірок, на які слід прагнути?

І чи змінюється ця порада, коли модель стає більш-менш складною?

— Метт Альбрехт
джерело

Я здогадуюсь, що це, ймовірно, залежатиме від "константи" в помилці , яка буде залежати від моделей.

O (n^{- \frac{1}{2}})

$O(n^{-\frac{1}{2}})$

— ймовірністьлогічний

Питання, яке ви задаєте, відрізняється від "діагностики конвергенції". Скажімо, ви провели всю діагностику конвергенції (виберіть улюблені), і тепер готові розпочати вибірку з задньої частини.

Є два варіанти з точки зору ефективного розміру вибірки (ESS), ви можете вибрати універсальний ESS або багатоваріантний ESS. Універсальний ESS забезпечить ефективний розмір вибірки для кожного параметра окремо, а консервативні методи диктують, ви вибираєте найменшу оцінку. Цей метод ігнорує всі перехресні кореляції між компонентами. Це, мабуть, тим, що більшість людей використовує деякий час

Нещодавно було введено багатоваріантне визначення ESS. Багатоваріантний ESS повертає одне число для ефективного розміру вибірки для величин, які ви хочете оцінити; і це робиться шляхом обліку всіх перехресних кореляцій у процесі. Особисто я набагато віддаю перевагу багатоваріантному ESS. Припустимо, вас цікавить -вектор засобів заднього розподілу. MESS визначається наступним чином Ось $p$

mESS = n {(\frac{| Λ |}{| Σ |})}^{1 / p} .

$\text{mESS} = n \left(\dfrac{|\Lambda|}{|\Sigma|}\right)^{1/p}.$

$\Lambda$ - це структура коваріації задньої частини (також асимптотична коваріація в CLT, якщо у вас були незалежні вибірки)
$\Sigma$ - асимптотична матриця коваріації в ланцюзі Маркова Маркова (відмінна від оскільки зразки корелюють. $\Lambda$
$p$ - кількість оцінюваних величин (або в цьому випадку розмірність заднього.
$|\cdot|$ є визначальним.

mESS можна оцінити, використовуючи матрицю коваріації вибірки для оцінки а партія означає матрицю коваріації для оцінки . Це було закодовано в функції в R пакета mcmcse . $\Lambda$ $\Sigma$ multiESS

Цей останній документ пропонує теоретично обґрунтовану нижню межу кількості необхідних ефективних зразків. Перед моделюванням потрібно визначитися

$\epsilon$ : точність. - частка помилки, яку ви хочете, щоб Монте-Карло був порівняно з задньою помилкою. Це аналогічно ідеї помилки при виконанні обчислень розміру вибірки в класичних умовах. $\epsilon$
$\alpha$ : рівень для побудови довірчих інтервалів.
$p$ : кількість оцінок, які ви оцінюєте.

За допомогою цих трьох кількостей ви дізнаєтесь, скільки ефективних зразків вам потрібно. Стаття просить зупинити моделювання вперше

mESS \geq \frac{2^{2 / p} π}{(p Γ (p / 2))^{2 / p}} \frac{χ_{1 - α, p}^{2}}{ϵ^{2}},

$\text{mESS} \geq \dfrac{2^{2/p} \pi}{(p \Gamma(p/2))^{2/p}} \dfrac{\chi^2_{1-\alpha, p}}{\epsilon^2},$

де - гамма-функція. Цю нижню межу можна обчислити, використовуючи в пакеті m mccse . $\Gamma(\cdot)$ minESS

Отже, припустимо, у вас є параметрів в задній частині, і ви хочете, щоб впевненості у вашій оцінці, і ви хочете, щоб помилка в Монте-Карло була 5% ( ) задньої помилки, вам знадобиться $p = 20$ $95\%$ $\epsilon = .05$

> minESS(p = 20, alpha = .05, eps = .05)
[1] 8716

Це справедливо для будь-якої проблеми (за умов регулярності). Спосіб адаптується від проблеми до проблеми полягає в тому, що повільно перемішуючи ланцюги Маркова потрібно довше, щоб досягти цієї нижньої межі, оскільки mESS буде меншим. Отже, тепер ви можете перевірити кілька разів, використовуючи, multiESSчи досяг вашої ланцюг Марків цієї межі; якщо не піти і взяти більше зразків.

— Грінпаркер
джерело

(+1) Відмінна відповідь. Чи знаєте ви, чи функція multiESSбула закодована для інших мов, наприклад, MATLAB? (чи важко буде повторно

— реалізувати

Це повинно бути просто, просто граючи з матрицями. Головне - це оцінка яка була закодована в C ++, я думаю. Тож це може бути передано (я не знаю багато Matlab).

Σ

$\Sigma$

— Greenparker

Дякуємо @Greenparker. Насправді це було реально легко реалізувати в Matlab (я, мабуть, опублікую його на своєму GitHub, як тільки я проведу кілька перевірок). У мене є питання щодо оцінки , але я задаю його в окремому дописі.

Σ

$\Sigma$

— lacerbi

@lacerbi Я радий, що ти зміг зашифрувати це в Matlab. Якщо можливо, відповідайте на цей коментар, коли він працює, щоб я міг ним скористатися. Спасибі

— Greenparker

Моя реалізація multiESS MATLAB доступна тут . Це робоча версія, хоча знадобиться ще тестування (я не знайомий з R, інакше я порівняв би його з реалізацією R).

— lacerbi

Конвергенція залежить від кількох речей: кількості параметрів, самої моделі, алгоритму вибірки, даних ...

Я б запропонував уникати будь-якого загального правила і використовувати пару інструментів діагностики конвергенції для виявлення відповідного вигорання та зменшення кількості ітерацій у кожному конкретному прикладі. Дивіться також http://www.johnmyleswhite.com/notebook/2010/08/29/mcmc-diagnostics-in-r-with-the-coda-package/, http://users.stat.umn.edu/~geyer/mcmc/diag.html.

— Монтекрісто
джерело