Який зв’язок між ланцюгом Маркова та ланцюгом Маркова monte carlo

15

Я намагаюся зрозуміти ланцюги Маркова за допомогою SAS. Я розумію, що процес Маркова - це той, де майбутній стан залежить лише від поточного стану, а не від минулого стану, і є матриця переходу, яка фіксує ймовірність переходу з одного стану в інший.

Але потім я натрапив на цей термін: Марківський ланцюг Монте-Карло. Що я хочу знати, - чи ланцюг Маркова Монте-Карло так чи інакше пов'язаний з процесом Маркова, який я описав вище?

— Віктор
джерело

9

Ну, так, існує зв'язок між двома термінами, тому що малюнки з MCMC утворюють ланцюг Маркова. С Гельман, Байєсівський аналіз даних (3-е видання), с. 265:

Моделювання ланцюга Маркова (також його називають ланцюгом Маркова Монте-Карло або MCMC) - це загальний метод, заснований на виведенні значень з відповідних розподілів, а потім виправляючи ці малюнки, щоб краще наблизити цільовий задній розподіл, . Вибірка проводиться послідовно, з розподілом вибіркових малюнків залежно від останнього отриманого значення; отже, креслення утворюють марківський ланцюг. $\theta$ $p(\theta|y)$

— Sycorax каже, що відновіть Моніку
джерело

Ум нормально, але чому мені потрібно малювати випадкові вибірки для марковського процесу, існує стільки інших процесів, як нормальний, бернуллі, можливість тощо.

— Віктор,

2

@Victor Я думаю, ви втратили зір із випадку використання MCMC. Ми використовуємо MCMC в баєсівській статистиці, коли немає аналітичної форми заднього розподілу.

— Sycorax каже, що повернеться до Моніки

3

+1 Статистика Баєса - це, мабуть, найбільш очевидне застосування MCMC (де цільовий розподіл - спільний задній), але не єдиний можливий.

— Glen_b -Встановіть Моніку

18

Зв'язок між обома поняттями полягає в тому, що методи ланцюга Маркова Монте-Карло (він же MCMC) покладаються на теорію ланцюгів Маркова для отримання моделювання та наближень Монте-Карло із складного розподілу цілей . $\pi$

$X_1,\ldots,X_N$ $X_i$ $\{X_{i-1},\ldots,X_1\}$ $X_{i-1}$

X_{i} = f (X_{i - 1}, ϵ_{i})

$X_i=f(X_{i-1},\epsilon_i)$

f

$f$

π

$\pi$

ϵ_{i}

$\epsilon_i$

X_{i}

$X_i$

π

$\pi$

i

$i$

\infty

$\infty$

Найпростішим прикладом алгоритму MCMC є пробовідбірник фрагментів : при ітерації i цього алгоритму зробіть

$\epsilon^1_i\sim\mathrm{U}(0,1)$

$X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$ $\epsilon^2_i$

$\mathrm{N}(0,1)$

$\epsilon^1_i\sim\mathrm{U}(0,1)$

$X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$ $X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$ $\epsilon_i^2\sim\mathrm{U}(0,1)$

або в R

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

$\mathrm{N}(0,1)$ $(X_i)$

$(X_i,\epsilon^1_i\pi(X_i))$

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

що слідує за вертикальними та горизонтальними рухами ланцюга Маркова під кривою цільової щільності.

— Сіань
джерело