Марков Процес про лише в залежності від попереднього стану

Я просто хотів би, щоб хтось підтвердив моє розуміння або якщо я щось пропускаю.

Визначення марківського процесу говорить, що наступний крок залежить лише від поточного стану, а попередніх станів немає. Отже, скажімо, у нас був простір стану a, b, c, d, і ми йдемо від a-> b-> c-> d. Це означає, що перехід до d міг залежати лише від того, що ми були в c.

Однак чи правда, що ви могли просто зробити модель більш складною і наче «обійти» це обмеження? Іншими словами, якщо ваш простір стану тепер був aa, ab, ac, ad, ba, bb, bc, bd, ca, cb, cc, cd, da, db, dc, dd, це означає, що ваш новий простір стану стає попередній стан у поєднанні з поточним станом, тоді вищевказаний перехід був би * a-> ab-> bc-> cd і тому перехід до cd (еквівалентний у попередній моделі d) тепер "залежить" від стану, який, якщо моделюється по-іншому, це попередній стан (я позначаю його як нижчий стан).

Чи правильно я в тому, що можна зробити так, щоб він "залежав від попередніх станів (піддержави)" (технічно я знаю, що це не в новій моделі, оскільки піддержава вже не є реальним станом) підтримувати властивість маркова шляхом розширення простір держави, як я? Отже, можна фактично створити марківський процес, який може залежати від будь-якої кількості попередніх піддержав.

Технічно обидва описані вами процеси - це ланцюги марків. Різниця полягає в тому, що перший - це марківський ланцюг першого порядку, тоді як другий - ланцюжок марків другого порядку. І так, ви можете перетворити ланцюжок markov другого порядку в ланцюжок markov першого порядку за допомогою відповідної зміни визначення простору стану. Дозвольте пояснити на прикладі.

Припустимо, ми хочемо моделювати погоду як стохастичний процес і припустимо, що в будь-який день погода може бути дощовою, сонячною або хмарною. Нехай - погода в будь-який конкретний день, і позначимо можливі стани символами R (для дощів), S для (сонячно) та C (для хмарних).$W_t$$R$$S$$C$

Марківський ланцюг першого порядку

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

Марківський ланцюг другого порядку

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

Марківський ланцюг другого порядку може бути перетворений в марківський ланцюг першого порядку, заново визначаючи простір стану наступним чином. Визначте:

як погода два дні поспіль.$Z_{t-1,t}$

Іншими словами, простір станів може приймати одне з наступних значень: , R C , R S , C R , C C , C S , S R , S C і S S . З цим переопределеним простором стану ми маємо наступне:$RR$$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

Сказане явно є ланцюгом марків першого порядку на переопределеному просторі стану. Єдина відмінність ланцюга від марків другого порядку полягає в тому, що ваш переосмислений ланцюжок марків повинен бути вказаний з двома початковими стартовими станами, тобто ланцюг потрібно починати з певних припущень про погоду в перший день та 2 день.

Визначення марківського процесу говорить, що наступний крок залежить лише від поточного стану, а попередніх станів немає.

$n^{th}$$n-1$

$n^{th}$$n$$n^{th}$$k$$O(k^{2n})$

Ви можете ознайомитись з останніми документами, такими як багатоваріантні ланцюги Маркова вищого порядку та їх застосування, оскільки це поле швидко просувається.