З огляду на два поглинаючі ланцюги Маркова, яка ймовірність того, що один припиниться перед іншим?

У мене є дві різні ланцюги Маркова, кожна з яких має один поглинаючий стан і відоме вихідне положення. Я хочу визначити ймовірність того, що ланцюг 1 досягне поглинаючого стану за менше кроків, ніж ланцюг 2.

Я думаю, що я можу обчислити ймовірність досягнення поглинаючого стану у певній ланцюжку після n кроків: з урахуванням перехідної матриці ймовірність поглинання після кроків є де - початковий стан, а - поглинаючий стан. $P$ $n$ $P^n_{ij}$ $i$ $j$

Я не впевнений, куди йти звідси, хоча. Аналогічні проблеми, які я бачив, стосуються кісток (наприклад, прокручування суми 7 до суми 8), але це простіше вирішити, оскільки ймовірність прокатки певної суми є постійною і не залежить від кількості кроків, зроблених на даний момент.

probability markov-chain transition-matrix

— Джефф
джерело

Запускайте ланцюги паралельно. Визначте три поглинаючі стани в отриманому продуктовому ланцюжку:

Перший ланцюг досягає поглинаючого стану, а другий - ні.
Другий ланцюг досягає поглинаючого стану, але перший не робить.
Обидві ланцюги одночасно досягають поглинаючого стану.

Обмежувальні ймовірності цих трьох станів у ланцюзі товарів дають шанси на інтерес.

Це рішення передбачає деякі (прості) конструкції. Як і в питанні, нехай бути матриця переходу для ланцюга . Коли ланцюг знаходиться в стані , дає ймовірність переходу в стан . Поглинають стану роблять перехід до самого себе з ймовірністю . $\mathbb{P} = P_{ij}, 1 \le i,j\le n$ $\mathcal P$ $i$ $P_{ij}$ $j$ $1$

Будь-який стан може бути поглинений , замінивши рядок індикаторним вектором з позицією в . $i$ $\mathbb{P}_{i} = (P_{ij}, j=1, 2, \ldots,n)$ $(0,0,\ldots,0,1,0,\ldots,0)$ $1$ $i$
Будь-який набір поглинаючих станів можна об'єднати , створивши новий ланцюг , стани якого . Матриця переходу задана через $A$ $\mathcal{P}/A$ $\{i\,|\, i\notin A\}\cup \{A\}$

$(P / A)_{i j} = \begin{array}{ll} {\begin{cases} P_{i j} & i \notin A, j \notin A \\ \sum_{k \in A} P_{i k} & i \notin A, j = A \\ 0 & i = A, j \notin A \\ 1 & i = j = A . \end{cases} \end{array}$ $(\mathbb{P}/A)_{ij} = \begin{array}{ll} \left\{ \begin{array}{ll} P_{ij} & i \notin A,\, j \notin A\\ \sum_{k\in A} P_{ik} & i\notin A, j=A \\ 0 & i=A, j\notin A \\ 1 & i = j = A. \end{array}\right. \end{array}$
Це дорівнює підсумовуванню стовпців відповідних і заміні рядків відповідають на один рядок, який робить перехід до себе. $\mathbb{P}$ $A$ $A$
Продукт з двох ланцюгів на станах і на станах , з переходом матриць і , відповідно, являє собою ланцюг Маркова на станах з матрицею переходу $\mathcal{P}$ $S_P$ $\mathcal{Q}$ $S_Q$ $\mathbb{P}$ $\mathbb{Q}$ $S_P\times S_Q = \{(p,q)\,|\, p\in S_P, q\in S_Q\}$

$(P \otimes Q)_{(i, j), (k, l)} = P_{i k} Q_{j l} .$ $(\mathbb{P} \otimes \mathbb{Q})_{(i,j),(k,l)} = P_{ik}Q_{jl}.$
Насправді, ланцюг товарів працює двома ланцюгами паралельно, окремо відстежуючи, де є кожна, і здійснюючи переходи незалежно.

Простий приклад може прояснити ці конструкції. Припустимо, Поллі розгортає монету з шансом посадити голови. Вона планує це робити до спостереження за головами. процесу гортання монети є представляють результати останнього перевертання: для хвостів, для голів. Плануючи зупинитися на головах, Поллі застосує першу конструкцію, зробивши поглинаючим станом. Отримана матриця переходу є $p$ $S_P = \{\text{T},\text{H}\}$ $\text{T}$ $\text{H}$ $\text H$

P = (\begin{matrix} 1 - p & p \\ 0 & 1 \end{matrix}) .

$\mathbb{P} = \pmatrix{1-p & p \\ 0 & 1}.$

Він починається у випадковому стані заданому першим жеребкуванням. $(1-p,p)$

Вчасно з Поллі Квінсі викине чесну монету. Він планує зупинитися, як тільки побачить дві голови підряд. Тому його ланцюг Маркова повинен відслідковувати попередній результат, а також поточний результат. Існує чотири такі комбінації з двох голів та двох хвостів, які я скорочу як " ", наприклад, де перша літера є попереднім результатом, а друга літера - поточним результатом. Квінці застосовує побудову (1), щоб перетворити на поглинаючий стан. Після цього він розуміє, що йому насправді не потрібні чотири стани: він може спростити свій ланцюг до трьох станів: означає, що поточний результат є хвостами, означає поточний результат - головки, і $\text{TH}$ $\text{HH}$ $\text{T}$ $\text{H}$ $\text{X}$ означає, що останні два результати були обома головами - це поглинаючий стан. Матриця переходу є

Q = (\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1 \end{matrix}) .

$\mathbb{Q} = \pmatrix{\frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1}.$

Ланцюг продуктів працює в шести станах: . Матриця переходу є тензорний добуток з і і так же легко обчислена. Наприклад, - це шанс, що Поллі здійснить перехід від до і, at в той же час (і незалежно один від одного), Квінсі робить перехід від до . Перший має шанс а останній шанс . Оскільки ланцюги запускаються незалежно, ці шанси примножуються, даючи $(T,T), (T,H), (T,X); (H,T), (H,H), (H,X)$ $\mathbb{P}$ $\mathbb{Q}$ $(\mathbb{P}\otimes\mathbb{Q})_{(T,T),(T,H)}$ $\text T$ $\text T$ $\text T$ $\text H$ $1-p$ $1/2$ $(1-p)/2$ . Повна матриця переходу є

P \otimes Q = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1 - p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1-p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 }.$

Він знаходиться у формі блокової матриці з блоками, що відповідають другій матриці : $\mathbb Q$

P \otimes Q = (\begin{matrix} P_{11} Q & P_{12} Q \\ P_{21} Q & P_{22} Q \end{matrix}) = (\begin{matrix} (1 - p) Q & p Q \\ 0 & Q \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ P_{11}\mathbb Q & P_{12}\mathbb Q \\ P_{21}\mathbb Q & P_{22}\mathbb Q } = \pmatrix{ (1-p)\mathbb Q & p\mathbb Q \\ \mathbb 0 & \mathbb Q }.$

Поллі та Квінсі змагаються, щоб побачити, хто першим досягне своєї мети. Переможцем стане Поллі кожного разу, коли вперше здійснюється перехід до де не ; переможець буде Quincy кожного разу, коли вперше здійснюється перехід до ; і якщо до того, як у будь-якого з них може статися перехід до , результатом буде нічия. Щоб відслідковувати, ми зробимо стани і обидва поглинаючі (за допомогою побудови (1)), а потім об'єднаємо їх ( через будівництво (2)). Отримана матриця переходу, упорядкована станами $(\text{H},\text{*})$ $\text{*}$ $\text X$ $(\text{T},\text{X})$ $(\text{H},\text{X})$ $(\text{H},\text{T})$ $(\text{H},\text{H})$ $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ є

R = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & p & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{R} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & p & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 }.$

Результатами одночасного першого кидка Поллі та Квінсі будуть стани з ймовірностями відповідно: це початковий стан, в якому слід запустити ланцюг. $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ $\mu = ((1-p)/2, (1-p)/2, 0, p, 0)$

У обмеженні як , $n\to \infty$

μ \cdot R^{n} \to \frac{1}{1 + 4 p - p^{2}} (0, 0, (1 - p)^{2}, p (5 - p), p (1 - p)) .

$\mu \cdot \mathbb{R}^n \to \frac{1}{1+4p-p^2}(0, 0, (1-p)^2, p(5-p), p(1-p)).$

Таким чином, відносні шанси трьох поглинаючих станів (що представляють перемогу Квінсі, перемагає Поллі, вони нічия) є . $(T,X), \{(H,T), (H,H)\}, (H,X)$ $(1-p)^2:p(5-p):p(1-p)$

Малюнок

Як функція (шанс того, що будь-який кидок Поллі буде головою), червона крива описує шанс Полі на перемогу, синя крива описує шанс Квінці на перемогу, а крива золота описує шанс на нічию. $p$

— дзижчати
джерело

Дуже акуратний приклад, дякую за це. Я все ще опрацьовую деталі, щоб побачити їх на собі. Лише питання: тут ми припустили, що дві події (кидки Поллі та Квінсі) відбуваються одночасно, наскільки велика різниця була б, якщо ми зробимо їх послідовними або навіть вибрали навмання кожного разу, хто кине наступний?

— user929304

@ user929304 Ви отримали різні відповіді, можливо, істотно. Наприклад, припустимо, що P і Q мають ланцюг, в якій стани діляться на підмножини A і B, де всі переходи від A ідуть до B, а всі від B переходять до A. Нехай обидва починаються з станів в A. В ланцюзі товарів вони обидва одночасно чергуються між А і В, але послідовні ланцюги та випадкові вибори ламають цю інваріантну схему.

— whuber