Чому надлишкова середня параметризація прискорює Gibbs MCMC?

У книзі Gelman & Hill (2007) (Аналіз даних за допомогою регресії та багаторівневих / Ієрархічних моделей) автори стверджують, що включення надлишкових середніх параметрів може допомогти прискорити MCMC.

Наведений приклад - це вкладена модель "тренажера польоту" (урівень 13.9):

\begin{aligned} y_{i} & \sim N (μ + γ_{j [i]} + δ_{k [i]}, σ_{y}^{2}) \\ γ_{j} & \sim N (0, σ_{γ}^{2}) \\ δ_{k} & \sim N (0, σ_{δ}^{2}) \end{aligned}

$\begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align}$

Вони рекомендують репараметризацію, додаючи середні параметри та наступним чином: $\mu_\gamma$ $\mu_\delta$

\begin{aligned} γ_{j} \sim N (μ_{γ}, σ_{γ}^{2}) \\ δ_{k} \sim N (μ_{δ}, σ_{δ}^{2}) \end{aligned}

$\begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align}$

Єдине пропоноване виправдання: (стор. 420):

Можливо, що симуляції застрягли в конфігурації, де весь вектор (або ) далекий від нуля (навіть якщо їм призначено розподіл із середнім значенням 0). Зрештою, симуляції сходяться до правильного розподілу, але нам не хочеться чекати. $\gamma$ $\delta$

Як надлишкові середні параметри допомагають вирішити цю проблему?

Мені здається, що вкладена модель повільна, головним чином через і , негативно корелюють. (Дійсно, якщо один піднімається вгору, інший повинен знизитися, враховуючи, що їх сума "фіксується" даними). Чи допомагають надлишкові середні параметри зменшити кореляцію між і чи щось інше цілком? $\gamma$ $\delta$ $\gamma$ $\delta$

mcmc hierarchical-bayesian gibbs

— Гейзенберг
джерело

γ

$\gamma$

δ

$\delta$

γ

$\gamma$

μ

$\mu$

δ

$\delta$

μ

$\mu$

Мені б хотілося інтуїтивно зрозуміти концепцію ієрархічного центрування загалом (оскільки конкретний випадок у питанні - це безпосередньо застосування ієрархічного центрування). Ключовий момент, про який я хочу зрозуміти, це: чому діє ієрархічне центрування, якщо дисперсія на рівні групи становить значну частину загальної дисперсії ? Документ Gelfand та ін. це доводить математично (тобто вивести кореляцію та знайти її обмежувальну поведінку), але без будь-якого інтуїтивного пояснення.

— Гейзенберг

$\mu$ $\gamma_j$ $\delta_k$

$\gamma_j$ $\delta_k$ $\mu$

Дивіться для чіткого опису розділ 25.1 "Що таке ієрархічне центрування?" у книзі (у вільному доступі) «Оцінка MCMC у MLwiN» Вільяма Дж. Брауна та інших. http://www.bristol.ac.uk/cmm/software/mlwin/download/manuals.html

— Секст Емпірік
джерело

Розділ 25.1 "MCMC оцінки MlwiN" описує цю методику "ієрархічного центрування", але не вникає в деталі, крім того, що стверджує, що вона працює. Розглядаючи його посилання, я виявив, що фактичне доведення цієї методики представлено у статті Ефективні параметризації для нормальних лінійних змішаних моделей , Гельфанд та ін., Biometrika vol 82 випуск 3.

— Гейзенберг,

У статті вище, в свою чергу, використовуються властивості нормального розподілу без пояснення. Я знайшов докази цих властивостей у кон'югатному байєсівському аналізі розподілу Гаусса Кевіном Мерфі.

— Гейзенберг

На жаль, я досі не бачив інтуїтивного пояснення, чому ця методика працює.

— Гейзенберг

Пізно, але я думаю, цей документ може бути тим, що ви шукаєте

— baruuum