Прихована модель Маркова для прогнозування подій

Запитання : Чи встановлена нижче схема розумної реалізації моделі прихованого Маркова?

У мене є набір даних 108,000спостережень (за 100 днів) і приблизно 2000подій протягом усього періоду спостереження. Дані виглядають як на малюнку нижче, де спостерігається змінна може приймати 3 дискретні значення $[1,2,3]$ і червоні стовпці виділяють часи подій, тобто : $t_E$

введіть тут опис зображення

Як показано з червоними прямокутниками на малюнку, я { до } для кожної події, ефективно трактуючи їх як "вікна перед подією". $t_E$ $t_{E-5}$

Навчання HMM: Я планую підготувати модель прихованого Маркова (HMM) на основі всіх "вікон перед подією", використовуючи методологію декількох послідовностей спостереження, як це запропоновано на Pg. 273 Рабинер в роботі . Сподіваюся, це дозволить мені тренувати HMM, який фіксує шаблони послідовностей, які призводять до події.

Прогноз HMM: Тоді я планую використовувати цей HMM для прогнозування на новий день, де будуть вектором розсувного вікна, оновленим у режимі реального часу, щоб містити спостереження між поточним часом та у міру продовження дня. $log[P(Observations|HMM)]$ $Observations$ $t$ $t-5$

Я очікую збільшення для що нагадують "вікна перед подією". Це фактично повинно дозволяти мені передбачати події до того, як вони відбудуться. $log[P(Observations|HMM)]$ $Observations$

— Жубарб
джерело

Ви можете розділити свої дані, щоб скласти модель (скажімо, 0.7), а потім протестувати свою модель на решті даних. Просто думка, я не фахівець у цій галузі.

— Фернандо

Так дякую. Більш придатність НММ до завдання, в якому я не впевнений.

— Жубарб

@Zhubarb Я маю справу з подібною проблемою і хотів би дотримуватися вашого підходу HMM. Де ви успішно це робите? Або ви нарешті повторилися до логістичної регресії / SVM тощо?

— Хав'єрфдр

@Javierfdr, я в кінцевому підсумку не реалізував це через труднощі реалізації та занепокоєння, які альто підкреслює у своїй відповіді. По суті, HMM покладає на себе тягар, який повинен будувати розгалужену генеративну модель, тоді як моє відчуття кишечника зараз пов'язане з проблемою, але можна легше піти з дискримінаційної моделі (SVM, Neural Net і т.д.), як ви пропонуєте. .

— Жубарб

Однією з проблем, описаних вами підходом, є те, що вам потрібно буде визначити, який тип збільшення $P(O)$ є багатозначним, що може бути важко $P(O)$ завжди буде дуже мало. Можливо, краще тренувати два НММ, скажімо, HMM1 для послідовностей спостереження, де відбувається подія, яка викликає інтерес, і HMM2 для послідовностей спостереження, де подія не відбувається відбувається. Потім задана послідовність спостереження $O$ ти маєш

\begin{aligned} П (Н Н М 1 | О) & = \frac{П (О | Н М М 1) П (Н М М 1)}{П (О)} \\ \propto П (О | Н М М 1) П (Н М М 1) \end{aligned}

$\begin{align*} P(HHM1|O) &= \frac{P(O|HMM1)P(HMM1)}{P(O)} \\ &\varpropto P(O|HMM1)P(HMM1) \end{align*}$ і аналогічно для HMM2. Тоді ви можете передбачити, що подія відбудеться, якщо

\begin{aligned} П (Н М М 1 | О) & > П (Н М М 2 | О) \\ ⟹ \frac{П (Н М М 1) П (О | Н М М 1)}{П (О)} & > \frac{П (Н М М 2) П (О | Н М М 2)}{П (О)} \\ ⟹ П (Н М М 1) П (О | Н М М 1) & > П (Н М М 2) П (О | Н М М 2) . \end{aligned}

$\begin{align*} P(HMM1|O) &> P(HMM2|O) \\ \implies \frac{P(HMM1)P(O|HMM1)}{P(O)} &> \frac{P(HMM2)P(O|HMM2)}{P(O)} \\ \implies P(HMM1)P(O|HMM1) &> P(HMM2)P(O|HMM2). \end{align*}$

Відмова від відповідальності : Далі випливає з мого особистого досвіду, тому сприймайте його таким, яким він є. Однією з приємних речей щодо HMM є те, що вони дозволяють мати справу з послідовностями змінної довжини та ефектами змінного порядку (завдяки прихованим станам). Іноді це необхідно (як у багатьох програмах NLP). Однак, схоже, ви апріорі припустили, що для прогнозування події, що цікавить, мають значення лише останні 5 спостережень. Якщо це припущення реалістичне, то, можливо, ви будете мати більше шансів використовувати традиційні методи (логістичний регрес, наївні баїси, SVM тощо) та просто використовувати останні 5 спостережень як функції / незалежні змінні. Зазвичай ці моделі будуть легше тренуватися і (на мій досвід) давати кращі результати.

— альт
джерело

@ alto, дякую. Як ви кажете, я буду дивитись

p = l o g (P (O | h m m))

$p = log(P(O|hmm))$ , та такі значення, як

p_{1} = - 2504, p_{2} = - 2403, p_{3} = - 2450

$p_1 =-2504, p_2 = -2403, p_3= -2450$ тощо, тому помічаючи значне збільшення в

p

$p$ може бути проблематичним. Тим часом, я думаю, що тренувати HMM2 буде важко. Кількість балів за HMM2 (без події) буде набагато більшою, і там може не бути жодної грамоти, а лише шуму. Як ти гадаєш? PS : Я вибрав 5 в якості розміру вікна довільно, він, швидше за все, буде довший, ніж у фактичній реалізації.

— Жубарб

@ Беркан Я не думаю, що жодне згаданих вами питань (більше немає послідовностей подій, ніж послідовності подій і просто шум без жодної події) не повинно виключати підхід 2 HMM. Якщо ви взяли попереднє

P (H M M 1)

$P(HMM1)$ до уваги (я оновлюю свою оригінальну відповідь з цього приводу), тоді вам може знадобитися налаштувати незбалансований розподіл класів (більше немає подій, ніж подій), але існує маса способів вирішити це. Дивіться цю відповідь, яку я дав, наприклад.

— альт

@ Беркан Що стосується розміру вікна, то, виходячи з власного особистого досвіду, я очікую, що те, що я сказав у цій справі, буде дотримано будь-якого фіксованого розміру вікна. Очевидно, що все, що я сказав, потрібно перевірити емпірично для вашої конкретної проблеми.

— alto

дякую за оновлення вашої відповіді, зараз це набагато зрозуміліше. Оскільки я буду працювати з логарифмами, я буду робити порівняння:

l o g (P (H M M 1)) + l o g (P (O | H M M 1)) > ? l o g (P (H M M 2)) + l o g (P (O | H M M 2))

$log(P(HMM1))+log(P(O|HMM1)) >? log(P(HMM2))+log(P(O|HMM2))$ . Тепер,

l o g (P (H M M 1))

$log(P(HMM1))$ розраховується за допомогою алгоритму вперед, як я можу зробити розрахунок

l o g (P (H M M 1))

$log(P(HMM1))$ ? Це ти лише до того, що я призначу?

— Жубарб

l o g (P (H M M 1)) + l o g (P (O | H M M 1)) > ? l o g (P (H M M 2)) + l o g (P (O | H M M 2))

$log(P(HMM1))+log(P(O|HMM1))>?log(P(HMM2))+log(P(O|HMM2))$ . Тепер,

l o g (P (H M M 1))

$log(P(HMM1))$ обчислюється за допомогою алгоритму вперед. Чи можу я обчислити журнал (P (HMM1)) за допомогою простого MLE на основі частот? тобто для даного випадку,

H M M 1 = (5 * 2, 000) / 108, 000

$HMM1 = (5 * 2,000) / 108,000$ де чисельник - це кількість точок, які підпадають під HMM1, а знаменники - це розмір набору даних.

— Жубарб