Моделі Маркова з умовними ймовірностями переходу


10

По-перше, дозвольте мені наперед визнати, що я не так добре розбираюся у статистиці та математиці, як хотілося б. Дехто може сказати, що достатньо знань, щоб бути небезпечним. : DI вибачаюся, якщо я не використовую термінологію правильно.

Я намагаюся моделювати ймовірності переходу системи з одного стану в інший. Проста модель Маркова - хороший старт. (Набір станів, набір початкових ймовірностей стану, набір ймовірностей переходу між станами.)

Однак система, яку я моделюю, є більш складною. Ймовірності переходу, що призводять до стану в момент T, найбільш безумовно залежать від змінних, відмінних від стану в T-1. Наприклад, S1 -> S2 може мати ймовірність переходу 40%, коли світить сонце, але ймовірність S1 -> S2 доходить до 80%, коли йде дощ.

Додаткова інформація з питань коментаторів:

  1. Штати спостерігаються.
  2. Буде лише 5-10 штатів.
  3. В даний час ми хочемо дослідити близько 30 коваріатів, хоча остаточної моделі, безумовно, буде менше.
  4. Деякі коваріати безперервні, інші - дискретні.

Три питання:

  1. Як я можу включити ймовірні умови переходу в свою модель Маркова?
  2. Або є цілком інша перспектива, з якої я повинен підійти до цього питання?
  3. Крім того, які ключові слова / поняття потрібно шукати в Інтернеті, щоб дізнатися більше про це?

Я вже ходив по Інтернету в пошуках таких речей, як "маркові моделі з умовними перехідними ймовірностями", але поки що нічого не ляпало мене в обличчя і сказало: "Це ваша відповідь, манекен!"

Дякую за допомогу та терпіння.


Ласкаво просимо на сайт. Наскільки великий простір держави? Ви спостерігаєте за станом, у якому відбувається ваш процес на кожному кроці? Скільки коваріатів (додаткових предикторів) у вас є? Вони суцільні, дискретні чи, можливо, суміш обох?
кардинал

Спасибі, кардинал. Так, держави спостерігаються. Напевно, буде від 5 до 10 штатів. (Це все ще невизначено, але я не очікую дуже великого простору держави.) Зараз у нас є список з приблизно 30 додаткових коваріатів, які ми маємо намір дослідити, хоча більшість з них, мабуть, матиме незначний ефект. Деякі є безперервними, а деякі - дискретними.
Аарон Джонсон

Відповіді:


5

Ви завжди можете мати марківський ланцюжок 2-го чи вищого порядку. У такому випадку ваша готова модель включає в себе всю ймовірнісну інформацію про перехід. Ви можете перевірити Dynamic Bayesian Networks, що є узагальненням графічної моделі ланцюгів Маркова, які часто використовуються в машинному навчанні.


YBE, Дякую за швидку відповідь! Чи дозволяє це (моделювання системи як другого порядку чи вищої ланцюга) дозволяти мені моделювати безперервні коваріати або просто дискретизувати коваріати? І чи можете ви вказати мені на посилання, яке дає хороший приклад того, про що ви говорите? Дякую!
Аарон Джонсон

Є папір, яку ви можете перевірити. Спочатку починається опис ланцюгів 1-го порядку, потім описується ситуація для ланцюгів вищого порядку. (Багатоваріантні ланцюги Маркова вищого порядку та їх застосування від Ching, Ng, Fung) Якщо вас цікавлять матеріали машинного навчання, пропоную вам перевірити веб-сайт Кевіна Мерфі. У нього також є інструментальний набір MATLAB, з яким можна грати.
YBE

+1 до вашої відповіді для посилання на папір Ching, Ng та Fung. Це добре мати. Однак, прочитавши його, виявляється, що він охоплює лише дискретні змінні (що таке, що я очікував.) Хоча я можу дискретизувати свої постійні змінні, мені все ще цікаво - чи існують моделі, які можуть обробляти неперервне безперервне змінні?
Аарон Джонсон

Я не фахівець, але, мабуть, результати мають бути взагалі безперервними. Наприклад, фільтр Кальмана працює на НММ (Марківський ланцюг 1-го порядку) з безперервними станами.
YBE

Я не одразу обрав вашу відповідь, тому що чекав більше кандидатів. Вони ніколи не приходили, і я забув про це. Через два роки я тепер нагороджую вас, приймаючи вашу відповідь. Дякую за інформацію! До речі, ви стикалися з чим-небудь ще на цю тему за останні два роки? Мені це все ще цікаво.
Аарон Джонсон,


0

Я задавав собі те саме питання, і якщо вам дійсно потрібно лише моделювати результат, виходячи з стану на Т1і коваріати, вам може бути корисний пакет msm в R.

Цей пакет, здається, досить добре підходить для моделювання впливу коваріатів на переходи між категоричними результатами протягом часу. Це не допоможе, якщо вам справді потрібна мережа вищого порядку, але, схоже, це не так, як виходячи з вашого оригінального запитання.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.