Яка різниця між "обмежуючим" та "стаціонарним" розподілами?

Я запитую про ланцюги Маркова, і останні дві частини говорять про це:

Чи має цей ланцюг Марків обмежувальне поширення. Якщо ваша відповідь "так", знайдіть обмежуючий розподіл. Якщо ваша відповідь «ні», поясніть чому.

Чи має цей ланцюг Марків стаціонарне поширення. Якщо ваша відповідь «так», знайдіть стаціонарний розподіл. Якщо ваша відповідь «ні», поясніть чому.

Яка різниця? Раніше я думав, що обмежуючий розподіл був, коли ви працюєте з але це матриця переходу -го кроків. Вони обчислили обмежуючий розподіл, використовуючи , що я вважав стаціонарним розподілом. $P = CA^n C^{-1}$ $n$ $\Pi = \Pi P$

Що це тоді?

markov-process

— Каїш
джерело

У вашому підручнику може бути відмінність, яка не є універсальною: наприклад, примітки Карла Зігмана щодо обмеження розподілів визначають "обмежуючі" та "стаціонарні" розподіли як синонімічні (визначення 2.3 внизу стор. 5). Тому ви повинні ознайомитися з визначеннями у вашому підручнику, щоб визначити різницю.

— whuber

@whuber Це говорить щось на зразок розробки а цього не існує. Потім він каже: "навіть якщо обмежувальний розподіл не існує, стаціонарний має. Нехай

є стаціонарним розподілом ...." Але я гарантую вам обчислити обмежувальний розподіл у запитанні раніше, вони вирішили його так. Це має для вас сенс?

lim_{n \to \infty} P_{i i}^{(n)}

$\lim_{n \rightarrow \infty} P_{ii}^{(n)}$

Π = (π_{0}, π_{1}, . . ., π_{n})

$\Pi = (\pi_0, \pi_1, ... ,\pi_n)$

— Каїш

@whuber Насправді я зараз дуже заплутаний, оскільки в попередньому обмежувальному питанні щодо розподілу вони не задовольняють рівність

π_{0} + π_{1} + π_{2} = 1

$\pi_0 + \pi_1 + \pi_2 = 1$ , то, може, це інакше?

— Каїш

Стаціонарний розподіл - стабільний у часі час. Наскільки мені відомо, обмежуючий розподіл ланцюга Маркова є нерухомим, і якщо ланцюг Маркова має стаціонарний розподіл, це також обмежує розподіл.

— shadowtalker

Відповідь Андреаса тут може допомогти quora.com/…

— Siddharth

Відповіді:

З вступу до стохастичного моделювання Пінського та Карліна (2011):

Обмежувальний розподіл, коли він існує, завжди є стаціонарним розподілом, але зворотне не відповідає дійсності. Може існувати стаціонарний розподіл, але не обмежує розподіл. Наприклад, немає обмежувального розподілу для періодичного ланцюга Маркова, матриця ймовірності переходу якого є але є нерухомим розподілом, оскільки (стор. 205).
$P = ‖ \begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} ‖$ $\mathbf{P}=\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|$ $\pi=\left(\frac{1}{2},\frac{1}{2}\right)$ $(\frac{1}{2}, \frac{1}{2}) ‖ \begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} ‖ = (\frac{1}{2}, \frac{1}{2})$ $\left(\frac{1}{2},\frac{1}{2}\right)\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|=\left(\frac{1}{2},\frac{1}{2}\right)$

У попередньому розділі, вони вже визначили « граничне розподіл ймовірностей » по $\pi$

$lim_{n \to \infty} P_{i j}^{(n)} = π_{j} f o r j = 0, 1, \dots, N$ $\lim_{n\rightarrow\infty}P_{ij}^{(n)}=\pi_j~\mathrm{for}~j=0,1,\dots,N$

і рівнозначно

$lim_{n \to \infty} \Pr {X_{n} = j | X_{0} = i} = π_{j} > 0 f o r j = 0, 1, \dots, N$ $\lim_{n\rightarrow\infty}\operatorname{Pr}\{X_n=j|X_0=i\}=\pi_j>0~\mathrm{for}~j=0,1,\dots,N$ (с. 165).

Наведений вище приклад коливається детерміновано, і тому не має межі так само, як у послідовності немає межі. $\{1,0,1,0,1,\dots\}$

Вони констатують, що звичайний ланцюг Маркова (у якому всі ймовірності переходу n-кроків є позитивними) завжди має обмежувальне поширення, і доводить, що він повинен бути унікальним негативним рішенням для

$π_{j} = \sum_{k = 0}^{N} π_{k} P_{k j}, j = 0, 1, \dots, N, \sum_{k = 0}^{N} π_{k} = 1$ $\pi_j=\sum_{k=0}^N\pi_kP_{kj},~~j=0,1,\dots,N,\\ \sum_{k=0}^N\pi_k=1$ (стор. 168 )

Потім на тій же сторінці, що і в прикладі, вони пишуть

Будь-який набір задовольняє (4.27), називається стаціонарним розподілом ймовірності ланцюга Маркова. Термін "стаціонарний" походить від властивості, яку ланцюг Маркова, розпочату відповідно до стаціонарного розподілу, буде слідкувати за цим розподілом у всі моменти часу. Формально, якщо , то для всіх . $(\pi_i)_{i=0}^{\infty}$ $\operatorname{Pr}\{X_0=i\}=\pi_i$ $\operatorname{Pr}\{X_n=i\}=\pi_i$ $n=1,2,\dots$

де (4.27) - сукупність рівнянь

$π_{i} \geq 0, \sum_{i = 0}^{\infty} π_{i} = 1, a n d π_{j} = \sum_{i = 0}^{\infty} π_{i} P_{i j} .$ $\pi_i \geq 0, \sum_{i=0}^{\infty} \pi_i=1,~\mathrm{and}~\pi_j = \sum_{i=0}^{\infty} \pi_iP_{ij}.$

що є точно такою ж умовою стаціонарності, як і вище, за винятком нині нескінченної кількості станів.

З цим визначенням стаціонарності висловлювання на сторінці 168 можна буде відновити заднім числом як:

Обмежувальний розподіл звичайного ланцюга Маркова - це нерухомий розподіл.
Якщо обмежувальний розподіл ланцюга Маркова є нерухомим розподілом, то стаціонарний розподіл є унікальним.

— shadowtalker
джерело

Чи можете ви уточнити, що ви маєте на увазі під "ймовірностями переходу, які не змінюються з часом" для стаціонарності? І обмежувальний, і стаціонарний розподіл стосуються ймовірностей щодо станів.

— Юхо Коккала

Так, я бачу, ви написали власну відповідь, але я переорганізував свою, щоб бути правильнішою.

— shadowtalker

Я досі не розумію. Я маю на увазі, що ви маєте на увазі, коли ви говорите "хіба що зараз з нескінченною кількістю штатів ...."? Чи можете ви уточнити, будь ласка, більш чітко

— roni

@roni два вирази однакові, якщо дозволити

N = \infty

$N=\infty$

— shadowtalker

У першому виділеному блоці є стаціонарним розподілом для прикладу, однак він не має обмежувального розподілу, оскільки буде коливатися, і тому він не має сталого стану. Чи означає це, що це не гарантує існування стаціонарного стану, якщо розраховуватиметься лише стаціонарний розподіл?

π = (1 / 2, 1 / 2)

$\pi=(1/2,1/2)$

P^{n}

$P^{n}$

— Гоян Цинь

Стаціонарний розподіл - це такий розподіл що якщо розподіл по станах на етапі дорівнює , то також розподіл по станах на етапі є . Тобто Обмежуючим розподілом є такий розподіл що незалежно від початкового розподілу, розподіл за станами переходить до як число кроки переходять до нескінченності: незалежно від $\pi$ $k$ $\pi$ $k+1$ $\pi$

π = π P .

$\begin{equation} \pi = \pi P. \end{equation}$

π

$\pi$

π

$\pi$

lim_{k \to \infty} π^{(0)} P^{k} = π,

$\begin{equation} \lim_{k\rightarrow \infty} \pi^{(0)} P^k = \pi, \end{equation}$

π^{(0)}

$\pi^{(0)}$ . Наприклад, розглянемо ланцюг Маркова, два стани якої сторони монети, . Кожен крок складається з перевертання монети догори дном (з вірогідністю 1). Зауважте, що коли ми обчислюємо розподіли штатів, вони не залежать від попередніх кроків, тобто хлопець, який обчислює ймовірності, не бачить монети. Отже, матриця переходу - Якщо ми спочатку ініціалізуємо монету, перевернувши її випадковим чином ( ), то також всі наступні етапи часу слідують цьому розподілу. (Якщо ви переверніть справедливу монету, а потім переверніть її догори дном, ймовірність головки все ще становить ). Таким чином,

{h e a d s, t a i l s}

$\{heads, tails\}$

P = (\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix}) .

$\begin{equation} P = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}. \end{equation}$

π^{(0)} = (\begin{matrix} 0.5 & 0.5 \end{matrix})

$\pi^{(0)} = \begin{pmatrix}0.5 & 0.5\end{pmatrix}$

0.5

$0.5$

(\begin{matrix} 0.5 & 0.5 \end{matrix})

$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$ - стаціонарний розподіл для цього ланцюга Маркова.

Однак цей ланцюг не має обмежувального розподілу: припустимо, ми ініціалізуємо монету так, щоб вона була головою з вірогідністю . Потім, оскільки всі наступні стани визначаються початковим станом, після парної кількості кроків стан стає головами з ймовірністю а після непарного числа кроків - це головами з вірогідністю . Це не залежно від того, скільки кроків зроблено, тому розподіл по станах не має меж. $2/3$ $2/3$ $1/3$

Тепер давайте модифікуємо процес, щоб на кожному кроці не обов’язково повертати монету. Натомість один кидає плашку, а якщо результат , монету залишають як є. Цей ланцюг Маркова має матрицю переходу Не переходячи на математику, я зазначу, що цей процес "забуде" початковий стан через випадкове пропущення повороту. Після величезної кількості кроків ймовірність головок буде близькою до , навіть якщо ми знаємо, як монета була ініціалізована. Таким чином, цей ланцюг має обмежуючий розподіл . $6$

P = (\begin{matrix} 1 / 6 & 5 / 6 \\ 5 / 6 & 1 / 6 \end{matrix}) .

$\begin{equation} P = \begin{pmatrix} 1/6 & 5/6 \\ 5/6 & 1/6 \end{pmatrix}. \end{equation}$

0.5

$0.5$

(\begin{matrix} 0.5 & 0.5 \end{matrix})

$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$

— Юхо Коккала
джерело

Хороший момент про забуття початкового стану, я цілком заперечив це у своїй відповіді.

— shadowtalker

Це пояснення допомагає мені багато чого зрозуміти. Чи можна сказати, що існування стаціонарного стану еквівалентно існуванню обмежуючого розподілу? Оскільки обчислити граничний розподіл нелегко, ми часто обчислюємо стаціонарний розподіл, розв'язуючи натомість рівняння балансу. Однак я вважав, що цей альтернативний метод не гарантує, що стаціонарний розподіл не залежить від початкових станів, тому він пояснює, чому для він має стаціонарний розподіл, але немає стаціонарного стану, який не залежить від початкових станів.

P = (\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix})

$P = \begin{pmatrix}0&1\\1&0\end{pmatrix}$

— Гоян Цінь

@GuoyangQin Якщо у вас є нове запитання, ви можете залишити його як запитання (посилання на це, якщо це допоможе надати питання). Хоча я б міг подумати, що "стаціонарний стан" у цьому контексті означатиме "стаціонарний розподіл", тому було б краще чітко визначити термін у питанні

— Juho Kokkala

Відклавши позначення в сторону, слово "нерухомий" означає "щойно ви потрапите туди, ви там залишитесь"; в той час як слово "обмеження" означає "ви зрештою потрапите туди, якщо підете досить далеко". Просто подумав, що це може бути корисним.

— Блакитне небо
джерело

Незрозуміло, як це стосується питання. Чи можете ви пояснити?

— whuber

Привіт @whuber, я хочу сказати, що обмежуючий розподіл - це обов'язково стаціонарний розподіл, тоді як стаціонарний розподіл - це не обов'язково обмежуючий розподіл. Отже, є різниця. Це по суті те саме, що й інші відповіді, але я думаю, що це легше запам'ятати.

— BlueSky

Дякую за роз’яснення: воно показує нам, що ви намагаєтесь досягти. Однак я не можу знайти жодного розумного способу інтерпретувати ваш опис "стаціонарного" таким чином, щоб він відповідав математичному визначенню.

— whuber

@whuber BlueSky фразування здається мені надзвичайно простим простим англійським поняттям "фіксованої точки" для мене - я не впевнений, що може означати ваш об'єкт.

— Річард Раст