Чому бажано мати низьку автокореляцію в MCMC?

11

Я постійно читаю про необхідність перевірки на автокореляцію в MCMC. Чому важливо, щоб автокореляція була низькою? Що він вимірює в контексті MCMC?

sampling autocorrelation mcmc

— Амеліо Васкес-Рейна
джерело

3

Насправді, якби можна було отримати високу негативну автокореляцію у пробовідбірнику MCMC, цей пробовідбірник покращився б після пробовідбору. Однак це дуже рідкісне явище ...

— Сіань

4

Автокореляція - це міра того, наскільки значення сигналу співвідноситься з іншими значеннями цього сигналу в різні моменти часу. У контексті MCMC автокореляція - це міра того, наскільки незалежні різні зразки від вашого заднього розподілу - нижча автокореляція, що вказує на більш незалежні результати.

Коли ви маєте високу автокореляцію, то намальовані зразки не відображають точно задній розподіл, а тому не надають важливої інформації для вирішення проблеми. Іншими словами, нижча автокореляція означає більш високу ефективність у ваших ланцюгах та кращі оцінки. Загальне правило полягає в тому, що чим нижче ваша автокореляція, тим менше зразків потрібно для ефективності методу (але це може бути надто спрощеним).

— Генрі Хаммонд
джерело

У мене немає великого досвіду роботи з MCMC, але ваше останнє речення не здається надмірним. Якщо ви подивитеся на вплив автокореляцій на ваші оцінки помилок, вони змінюють значення з на , де цей час autocorreltion вимірюється на один і той же спостережуваних. Таким чином , це як мати тільки «ефективного вимірювання» замість . Чи є ще деяка спрощеність у цій заяві?

Δ A^{²} = \frac{Var A}{N}

$\Delta A^² = \frac{\text{Var} A}{N}$

Δ A^{²} = \frac{Var A}{N} (1 + 2 τ)

$\Delta A^² = \frac{\text{Var} A}{N}(1+2\tau)$

τ

$\tau$

A

$A$

\frac{N}{1 + 2 τ}

$\frac{N}{1+2\tau}$

N

$N$

— Навчання - це безлад

10

По-перше, і, очевидно, якщо автокореляція висока, то N зразків не дають вам N інформації про ваш розподіл, але менше, ніж це. Ефективний розмір вибірки (ESS) - це міра того, скільки інформації ви дійсно отримуєте (і це функція параметра автокореляції).

Крім того, автокореляція дає вам представницькі зразки "в короткий термін". Більше того, чим більше існує автокореляція, тим довше "короткий пробіг". Для дуже сильної автокореляції короткостроковий період може бути хорошою часткою від ваших загальних зразків. Звичайні прямі засоби захисту - це параметризація або вибіркові параметри, які, як ви очікуєте, будуть взаємозв’язані в блоках, а не окремо, оскільки в іншому випадку вони будуть генерувати автокореляцію в ланцюзі. Люди часто також «худі», хоча є певна дискусія про те, наскільки це корисно для вирішення основної проблеми, наприклад, тут . Kass 1997 - це неофіційна дискусія з цих питань, хоча, мабуть, є щось нове, що можуть рекомендувати інші.

Коротше кажучи, сильно автокорельований ланцюг займає більше часу, щоб дістатися від початкових умов до потрібного розподілу, хоча він є менш інформативним і займає більше часу для вивчення цього розподілу, коли він туди потрапить.

— сполученийпріор
джерело