Як ви бачите, що ланцюжок Маркова невідмінний?

У мене є проблеми з розумінням властивості ланцюга Маркова, невідмінною .

Неприпустимість, як кажуть, означає, що стохастичний процес може "перейти з будь-якої держави в будь-яку державу".

Але що визначає, чи може він перейти від держави $i$ у стан $j$чи не можеш піти?

---

Сторінка вікіпедії дає формалізацію:

Держава $j$є доступним (написано$i\rightarrow j$) від держ $i$, якщо існує ціле число $n_{ij}>0$ вул

$$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$$

то спілкування - це якщо$i\rightarrow j$ і $j \rightarrow i$.

З цих незвучуваності випливає якось.

Ось три приклади для перехідних матриць, перші два для відновлюваного випадку, останній для невідводимої.

$$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$$ Для $P_1$, якщо ви перебуваєте в стані 3 або 4, ви будете там залишатися, і те ж саме для станів 1 і 2. Немає способу перейти зі стану 1 у стан 3 або 4, наприклад.

Для $P_2$, ви можете потрапити в будь-який штат із штатів 1 до 3, але як тільки ви перебуваєте у стані 4, ви залишатиметесь там.

$$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$$ У цьому прикладі ви можете запуститись у будь-якому стані і все-таки дійти до будь-якого іншого стану, хоча не обов’язково за один крок.

Стан $j$ кажуть, що вона є доступною від держави $i$ (зазвичай позначається через $i \to j$) якщо такі є $n\geq 0$ такий як:

$$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$$ Тобто можна отримати від держави $i$ до держави $j$ в $n$ кроки з вірогідністю $p^n_{ij}$.

Якщо обоє $i\to j$ і $j\to i$ справедливі тоді держави $i$ і $j$ спілкуватися (зазвичай позначається через $i\leftrightarrow j$). Тому ланцюг Маркова є невідворотним, якщо спілкуються два держави.

Дозволяє $i$ і $j$бути двома різними станами ланцюга Маркова. Якщо є якась позитивна ймовірність процесу перейти зі стану$i$ у стан $j$незалежно від кількості кроків (скажімо, 1, 2, 3$\cdots$), то ми кажемо, що держава $j$ є доступною від держави $i$.

Помітно, ми це виражаємо як $i\rightarrow j$. З точки зору вірогідності вона виражається так: стан$j$ є доступною від держави $i$, якщо існує ціле число $m>0$ такий як $p_{ij}^{(m)}>0$.

Аналогічно ми говоримо, що $j\rightarrow i$, якщо існує ціле число $n>0$ такий як $p_{ji}^{(n)}>0$.

Тепер, якщо обидва $i\rightarrow j$ і $j\rightarrow i$ правда, то ми говоримо, що держави $i$ і $j$ спілкуватися один з одним і нотаційно виражається як $i \leftrightarrow j$. З точки зору ймовірності це означає, що існує два цілих числа$m>0,\;\; n>0$ такий як $p_{ij}^{(m)}>0$ і $p_{ji}^{(n)}>0$.

Якщо всі стани ланцюга Маркова належать до одного замкнутого комунікаційного класу , то ланцюг називається непридатним ланцюгом Маркова . Незводимість - властивість ланцюга.

У невідворотній ланцюзі Маркова процес може перейти з будь-якого стану в будь-який стан , незалежно від кількості необхідних кроків.

Деякі з існуючих відповідей мені здаються невірними.

Як цитується у Стохастичних процесах Дж. Меді (стор. 79, видання 4), ланцюг Маркова невідводимий, якщо він не містить жодного належного «закритого» підмножини, окрім простору стану.

Отже, якщо у вашій матриці ймовірностей переходу є підмножина станів, така що ви не можете «дістати» (або отримати доступ) до будь-яких інших станів, крім цих станів, то ланцюг Маркова можна привести. Інакше ланцюг Маркова невідводиться.

По-перше, застереження: ніколи не дивіться на матрицю, якщо у вас немає серйозних причин: єдине, про що я можу придумати, - це перевірка помилково введених цифр чи читання в підручнику.

Якщо $P$ - ваша матриця переходу, обчисліть $\exp(P)$. Якщо всі записи є ненульовими, то матриця непридатна. Інакше це приводиться. Якщо$P$ занадто великий, обчисли $P^n$ з $n$як можна більше. Тест тест, трохи менш точний.

Невідводимість означає: ви можете перейти з будь-якого стану в будь-який інший стан за допомогою обмеженої кількості кроків.

На прикладі Крістофа Ганка $P_3$ви не можете перейти безпосередньо зі стану 1 в стан 6, але ви можете перейти 1 -> 2 -> 6