Оцінка ймовірностей ланцюга Маркова

12

Який би був загальний спосіб оцінки матриці переходу MC за даними часових серій?

Чи існує функція R для цього?

markov-process

— user333
джерело

Це дискретний чи безперервний ланцюг марків стану?

— Макрос

Я думаю, що дискретно. У мене є 5 можливих станів від S1 до S5

— user333

Спираючись на попередні приємні відповіді: так, є спосіб, який усвідомлює позицію. Я думаю, що це можливо за допомогою Марківських моделей n-го порядку.

14

Оскільки часовий ряд дискретно оцінюється, ви можете оцінити ймовірності переходу за пропорціями вибірки. Нехай - стан процесу в момент , - матриця переходу тоді $Y_{t}$ $t$ ${\bf P}$

P_{i j} = P (Y_{t} = j | Y_{t - 1} = i)

${\bf P}_{ij} = P(Y_{t} = j | Y_{t-1} = i)$

Оскільки це ланцюг Маркова, ця ймовірність залежить лише від , тому його можна оцінити за пропорцією вибірки. Нехай - кількість разів, коли процес перемістився зі стану до . Потім, $Y_{t-1}$ $n_{ik}$ $i$ $k$

{\hat{P}}_{i j} = \frac{n_{i j}}{\sum_{k = 1}^{m} n_{i k}}

$\hat{{\bf P}}_{ij} = \frac{ n_{ij} }{ \sum_{k=1}^{m} n_{ik} }$

де - кількість можливих станів ( у вашому випадку). Знаменник - це загальна кількість рухів поза станом . Оцінка записів таким чином насправді відповідає максимальній оцінці ймовірності перехідної матриці, розглядаючи результати як багаточлени, обумовлені . $m$ $m=5$ $\sum_{k=1}^{m} n_{ik}$ $i$ $Y_{t-1}$

Редагувати: це передбачає, що часовий ряд спостерігається з рівномірно розташованими інтервалами. В іншому випадку ймовірність переходу також залежатиме від відставання в часі (навіть якщо вони все ще марковані).

— Макрос
джерело

6

Я чую, що ти говориш. В основному спостережувані частоти будуть моєю матрицею ... Простими словами!

— користувач333

Як щодо безперервного простору стану? Але я трохи намагаюся зрозуміти концепцію?

— користувач333

1

Для неперервного простору стану проблема стає набагато складнішою, оскільки тоді потрібно оцінити функцію переходу, а не матрицю. У цьому випадку, оскільки гранична ймовірність перебування в будь-якому конкретному стані дорівнює 0 (подібно до того, як ймовірність прийняття якоїсь конкретної точки у просторі вибірки дорівнює 0 для будь-якого безперервного розподілу), що я описав вище, не має сенсу. У безперервному випадку я вважаю, що оцінка функції переходу є рішенням набору диференціальних рівнянь (я не дуже знайомий з цим, тому хтось, будь ласка, виправить мене, якщо я помиляюся)

— Макрос

Хіба цей метод не передбачає 1 безперервного спостереження, а не багато, як на посаді внизу? Наприклад, уявіть, що Е був поглинаючим станом ... Тоді це не було б виявлено тут точно?

— HCAI

4

Дуже, з гіпотезою, що ваш часовий ряд є нерухомим:

Щоб спростити відмінну відповідь Макроса

Тут ви маєте свій часовий ряд із 5 станами: A, B, C, D, E

AAAEDDDCBEEEDBADBECADAAAACCCDDE

Потрібно лише порахувати спочатку переходи: - залишивши A: 9 переходів Серед цих 9 переходів 5 - A-> A, 0 A-> B, 1 A-> C, 2 A-> D, 1 A-> E Отже, перший рядок вашої матриці ймовірностей переходу - [5/9 0 1/9 2/9 1/9]

Ви робите це підрахунок для кожного стану, а потім отримуєте свою матрицю 5x5.

— Mickaël S
джерело

Чудовий приклад, дякую. Тож Ланцюги Маркова стосуються себе лише кількості переходів, а не їх розміщення, правда? Наприклад, чи AAABBBAматиме таку ж матрицю, що і ABBBAAA?

— Марцін

так, з ланцюгом Маркова, якщо у вас однакова кількість переходів, у вас буде однакова матриця. Це гарне запитання. Навіть якщо у вас немає точно такої ж послідовності, у вас однакова "поведінка", і це найважливіше в моделюванні, якщо ви хочете повторити точно таку ж послідовність, чому моделювання? Просто повторіть свої дані.

— Mickaël S

Чи існує інший метод підрахунку переходів, який відомий позиції? Я займаюся дослідженням злому паролів, тому було б непогано мати метод оцінки того, що є найбільш ймовірним наступним символом. Проблема з паролями полягає в тому, що люди, як правило, дотримуються таких правил, як ставлення * на початку та в кінці пароля або завершення пароля знаком 1, тож враховуються не лише переходи, а й їх місцезнаходження.

— Марцін

гаразд, я не замислювався над цим випадком, ти впевнений, що ланцюжок Маркова - найкращий спосіб зробити те, що ти хочеш робити? Якщо ви так думаєте, який ваш стан (кожен персонаж - стан)? І як ви плануєте розрахувати перехід? Як ви плануєте використовувати ланцюжок markov?

— Mickaël S

2

функція markovchainFit з пакету markovchain стосується вашої проблеми.

— Джорджіо Шпедікато
джерело