Що таке ланцюги Маркова?

В даний час я читаю деякі статті про грудку Маркова і мені не вдається побачити різницю між ланцюгом Маркова та звичайним спрямованим зваженим графіком.

Наприклад, у статті Оптимальне згущення простору стану в ланцюгах Маркова вони дають таке визначення CTMC (ланцюг Маркова безперервного часу):

Ми вважаємо кінцевим CTMC з простором стану \ mathcal {S} = \ {x_1, x_2, \ ldots, x_n \} матрицею швидкостей переходу Q: \ mathcal {S} \ times \ mathcal {S} \ to \ mathbb {R} ^ + .$(\mathcal{S}, Q)$$\mathcal{S} = \{x_1, x_2, \ldots, x_n\}$$Q: \mathcal{S} \times \mathcal{S} \to \mathbb{R}^+$

Вони взагалі не згадують властивість Маркова, і, фактично, якщо вага на ребрах представляє ймовірність, я вважаю, що властивість Маркова тривіально дотримується, оскільки ймовірність залежить лише від поточного стану ланцюга, а не від шляху, який веде йому.

В іншій статті про реляційні властивості зламності ланцюги Маркова визначені аналогічно:

Ланцюг Маркова $M$ буде представлений у вигляді триплету $(S, P, \pi)$ де $S$ - кінцевий набір станів $M$ , $P$ - матриця ймовірностей переходу, що вказує на ймовірність переходу з одного стану в інший, а $\pi$ - початковий розподіл ймовірностей, що представляє ймовірність запуску системи у певному стані.

Знову ж таки, жодної згадки про минуле чи майбутнє чи незалежність.

Є третя стаття Simple O (m logn) Time Markov Chain Lumping, де вони не тільки ніколи не заявляють, що ваги на ребрах є ймовірними, але вони навіть кажуть:

У багатьох програмах значення є негативними. Ми не робимо цього припущення, оскільки є також програми, де навмисно вибирається як , що робить його зазвичай негативним.$W(s, s')$$W(s, s)$$-W(s, S \setminus \{s\})$

Більше того, зазначено, що групування повинно бути способом зменшення кількості станів при збереженні властивості Маркова (шляхом об'єднання "еквівалентного" стану у більший стан). Тим не менш, мені здається, що це просто підсумовування ймовірностей, і це навіть не повинно гарантувати, що виникаючі можливості переходів до / з агрегованих станів знаходяться в діапазоні . Що тоді насправді зберігає грудочка?$[0,1]$

Отже, я бачу дві можливості:

• Я не розумів, що таке ланцюг Маркова, або
• Використання терміна "Марківський ланцюг" у цих документах є хибним

Чи може хтось з’ясувати ситуацію?

Це дійсно схоже на те, що існують різні громади, що використовують цей термін, і вони означають дуже різні речі. З цих 3 статей, які я вважаю, схоже, що властивість Маркова є тривіальною або марною, тоді як дивлячись на папери іншого типу, це виглядає принципово.

Безперервного часу марковської ланцюга може бути представлена у вигляді орієнтованого графа з постійними невід'ємними вагами ребер. Еквівалентне подання константних ваг ребер спрямованого графіка з вузлами є як матрицяМаркова (що майбутні стану залежать тільки від поточного стану) є неявній в постійних ваг ребер (або постійних елементів матриці). Неявні кошти мається на увазі . Математики використовують це як евфемізм, що означає "ви повинні це довести самі".$N$$N \times N$

Але перший документ визначає позначення, що відповідають ланцюгу Марків безперервного часу , який іноді називають процесом Маркова , тоді як другий документ визначає позначення, що відповідає ланцюгу Маркова дискретного часу . Вони кажуть

$P$ - матриця ймовірностей переходу, що вказує на ймовірність переходу з одного стану в інший, а - початковий розподіл ймовірностей, що представляє ймовірність запуску системи в певному стані. [наголос додано]$\pi$

Вони припускають, що матриця є постійною у часі (маючи на увазі властивість Маркова). Імпліцитним терміном вірогідності є той факт, що кожна константа знаходиться в діапазоні , що записи в кожному стовпчику дорівнюють і що сума записів у дорівнює .$[0,1]$$P$$1$$\pi$$1$

Я не можу прочитати третій документ, він заплачений. Якщо записи у кожному стовпчику матриці потрібно підсумовувати до 1, то вони є ймовірними, і вони говорять про ланцюги Маркова Марк. Якщо записи у кожному стовпці можуть дорівнювати довільній кількості, то записи представляють ставки, а не ймовірності, і вони говорять про ланцюги Маркова безперервного часу.

Маркові ланцюги безперервного часу не є такими ж, як ланцюги Маркова з дискретним часом . У ланцюзі Маркова безперервного часу ваги краю не представляють вірогідності, а швидше перехідні . Ваги кромки повинні бути невід’ємними, але можуть бути довільно великими, а ваги перехідних країв можуть дорівнювати будь-якому негативному числу. Сума не повинна бути .$1$

І з ланцюгами Маркова з неперервним часом, і з дискретним часом властивість Маркова має на увазі постійні ваги ребер (або еквівалентно постійні записи в матриці переходу.)

Ланцюги Маркова бувають двох ароматів: безперервний час і дискретний час.

Як ланцюги безперервного часу маркова (CTMC), так і дискретні ланцюги часу маркова (DTMC) представлені у вигляді спрямованих зважених графіків.

Для DTMC переходи завжди займають одну одиницю "часу". Як результат, немає вибору, якою має бути ваша вага на дузі - ви ставите ймовірність переходу на "j", враховуючи, що ви знаходитесь на "i".

Для CTMC час переходу між будь-якими двома станами обов'язково задається експоненціальною випадковою змінною. Це ключова відмінність CTMC від DTMC: у DTMC завжди є час переходу одиниці. CTMC мають випадковий час переходу.

Для CTMC, звичайно, встановити ваги на дузі відповідно до швидкості експоненціальної випадкової величини, що йде від джерела до місця призначення. Тобто конвенція - ставити ставки на дуги, а не на ймовірності.

Негативні ціни

Хоча всі CTMC, які я пам'ятаю, були представлені позитивними показниками по краях, негативні показники виявляються в аналізі CTMC.

Скажімо, ми стоїмо в стані A, який з'єднаний з B, C і D, як показано нижче.

A -> B (швидкість в A від B від'ємна) A -> C (швидкість в A від C від'ємна) D -> A (швидкість в A від D позитивна)

Це, мабуть, не зовсім те, про що йдеться у вашому документі; Я доводжу це, щоб показати, що негативні ваги не завжди є смішними, якщо хтось працював з відповідною умовою.

Маркова нерухомість

Що стосується DTMC - ви маєте рацію. Власність Маркова задовольняється тривіально. Для CTMC властивість markov задовольняється, оскільки переходи задаються експоненціальними випадковими змінними (які є "без запам'ятовування"). Якби переходи не були задані експоненціальними випадковими змінними (скажімо, вони були рівномірними), тоді ми б говорили про "напівмарківські ланцюги" або "напівмарківські процеси".