Інтелектуальне виявлення точки зміни Байєса (граничний прогнозний розподіл)

Я читаю документ про виявлення змін Байєса в Інтернеті від Адама та Маккея ( посилання ).

Автори починають із написання граничного прогнозного розподілу: де

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} | r_{t}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) (1)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$

$x_t$ - спостереження в момент часу ; $t$
$\textbf{x}_{1:t}$ позначає набір спостереження до моменту ; $t$
$r_t \in \mathbb{N}$ - поточна довжина пробігу (час з часу останньої точки зміни, може бути 0); і
$\textbf{x}_t^{(r)}$ - це сукупність спостережень, пов'язаних із запуском . $r_t$

Eq 1 формально правильний (див. Відповідь нижче від @JuhoKokkala), але я розумію, що якщо ви хочете насправді зробити прогноз щодо вам потрібно розширити його наступним чином: $x_{t+1}$

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}, r_{t + 1}} P (x_{t + 1} | r_{t + 1}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) P (r_{t + 1} | r_{t}) (1 b)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$

Моє міркування полягає в тому, що в (майбутньому) часі може бути , але задній охоплює лише до . $t+1$ $P(r_t | \textbf{x}_{1:t})$ $t$

Справа в тому, що автори в роботі роблять нас з рівняння. 1, як є (див. Рівняння 3 та 11 у статті), а не 1b. Отже, вони, здавалося б, ігнорують можливість зміни точки в момент при прогнозуванні з даних, доступних у момент . На початку розділу 2 вони говорять про перехід $t+1$ $x_{t+1}$ $t$

Ми припускаємо, що ми можемо обчислити прогнозний розподіл [для ], що обумовлюється заданою довжиною пробігу . $x_{t+1}$ $r_t$

що, можливо, там, де фокус. Але загалом цей прогнозний розподіл повинен виглядати приблизно як Eq. 1b; що це не те, що вони роблять (Р. 11).

Отже, я не впевнений, що розумію, що відбувається. Можливо, з нотацією відбувається щось смішне.

Довідково

Адамс, RP та MacKay, DJ (2007). Байєсівське онлайн-виявлення зміни. переддрук arXiv arXiv: 0710.3742.

— лазербі
джерело

Потенційне пояснення полягає в тому, що являє собою довжину запуску в кінці етапу часу , який знаходиться після точки зміни в момент . З цим, рівняння. 1 має сенс. Фактично, одна ініціалізація алгоритму - це встановлення що передбачає, що перед початком в є . Однак, фіг.1 неправильно (або принаймні вводить в оману) в тому, що якщо є точка зміни між і , і між і як зображено на , то і

r_{t}

$r_t$

t

$t$

t

$t$

P (r_{0} = 0) = 1

$P(r_0 =0) = 1$

t = 1

$t=1$

t = 4

$t =4$

t = 5

$t=5$

t = 10

$t=10$

t = 11

$t=11$

r_{4}

$r_4$

r_{10}

$r_{10}$ має бути 0 відповідно до цього позначення, а не та як на фіг. 1b.

r_{5}

$r_5$

r_{11}

$r_{11}$

— lacerbi

У еквіваленті відбувається щось дивне. 3 як середній множник у підсумковому рядку в останньому рядку є тоді як я думав, що містить . Я підозрюю, що і змінили місця, оскільки має сенс. У рівнянні 11, правий бік, здається, залежить від який взагалі не з’являється на лівій стороні, тому або щось не так, або я взагалі не розумію позначення.

P (x_{t} ∣ r_{t - 1}, x_{t}^{(r)})

$P(x_t \mid r_{t-1}, x^{(r)}_t)$

x_{t}^{(r)}

$x^{(r)}_t$

x_{t}

$x_t$

t

$t$

t - 1

$t-1$

P (x_{t} ∣ r_{t}, x_{t - 1}^{(r)})

$P(x_t \mid r_t, x^{(r)}_{t-1})$

x_{t}^{(r)}

$x_t^{(r)}$

— Juho Kokkala

@JuhoKokkala: Я радий, що я не єдиний із таким почуттям ...

— lacerbi

@lacerbi, У мене є ще одне запитання щодо цього документу, і я думаю, що ви зможете відповісти на нього, оскільки вам здається знайомим з роботою: stats.stackexchange.com/questions/419988 .

— gwg

І (1), і (1b) правильні. ОП має право, що (у цій моделі) може бути точка зміни при , і залежить від того, чи є точка зміни. Це не означає жодних проблем з (1), оскільки можливі значення повністю "охоплені" . означає умовний розподіл від . Цей умовний розподіл в середньому позначається на "все інше", включаючи , умовний на . Так само, як можна було написати, скажімо, $t+1$ $x_{t+1}$ $r_{t+1}$ $P(x_{t+1} \mid r_t, x_{1:t})$ $P(x_{t+1} | r_t, x_{1:t})$ $x_{t+1}$ $(r_t, x_{1:t})$ $r_{t+1}$ $(r_t, x_{1:t})$ $P(x_{t+1000} | x_t)$ , яка б враховувала всі можливі конфігурації точок змін, а також значення s, що виникають між і . $x_i$ $t$ $t+1000$

У решті я спочатку отримую (1), а потім (1b) на основі (1).

Виведення (1)

Для будь-яких випадкових величин маємо , поки дискретний (інакше суму потрібно замінити на інтеграл). Застосовуючи це до : $A,B,C$

P (A ∣ B) = \sum_{c} P (A ∣ B, C = c) P (C = c ∣ B),

$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$

C

$C$

x_{t + 1}, x_{1 : t}, r_{t}

$x_{t+1},x_{1:t},r_t$

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{1 : t}) P (r_{t} ∣ x_{1 : t}),

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$ яке має значення незалежно від того, якими є залежності між , , , тобто жодних припущень щодо моделі ще немає були використані. У даній моделі задається вважається * умовно незалежним від значень від прогонів до . Це означає, що . Підставивши це до попереднього рівняння, отримаємо

r_{t}

$r_t$

x_{1 : t}

$x_{1:t}$

x_{t + 1}

$x_{t+1}$

x_{t + 1}

$x_{t+1}$

r_{t}, x_{t}^{(r)}

$r_t,x^{(r)}_t$

x

$x$

x_{t}^{(r)}

$x^{(r)}_t$

P (x_{t + 1} ∣ r_{t}, x_{1 : t}) = P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)})

$P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) P (r_{t} ∣ x_{1 : t}), (1)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$ що є (1) в ОП.

Виведення (1b)

Розглянемо розкладання над можливими значеннями : $P(x_{t+1} \mid r_t, x^{(r)}_t)$ $r_{t+1}$

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, r_{t}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}, x_{t}^{(r)}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$

Оскільки передбачається *, що те, чи відбудеться точка зміни при (між та ), не залежить від історії , маємо . Крім того, оскільки визначає, чи належить до того ж циклу, що і , ми маємо . Підставивши ці два спрощення на факторизацію вище, отримаємо $t+1$ $x_t$ $x_{t+1}$ $x$ $P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$ $r_{t+1}$ $x_{t+1}$ $x_t$ $P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$ Підставивши це до (1), отримаємо яке є ОП (1b).

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} (\sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t})) P (r_{t} ∣ x_{1 : t}), (1 b)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$

* Зауважте про припущення про умовну незалежність моделі

На основі швидкого перегляду статті я особисто хотів би, щоб властивості умовної незалежності десь чіткіше були викладені, але я вважаю, що намір полягає в тому, що є марковським, а : s, пов'язані з різними прогонами, є незалежними (з урахуванням прогонів). $r$ $x$

— Юхо Коккала
джерело

(+1) Дякую Так, звичайно, я розумію, що екв. 1 формально правильно, якщо передбачається неявна маргіналізація над . Проблема полягає в тому, що пізніше автори роблять передбачення (рівняння 11 у статті та неявно урівнювання 3), і вони, мабуть, не маргіналізуються над коли приймають їх.

r_{t + 1}

$r_{t+1}$

r_{t + 1}

$r_{t+1}$

— lacerbi

Ой. Тоді здається, що я неправильно зрозумів питання - чи слід це видалити? Ви можете уточнити питання, на даний момент це звучить як (1) якось неправильно (замість, можливо, не корисного)

— Juho Kokkala

Будь ласка, зберігайте цю відповідь, яка цінна. Моя помилка, що я не був достатньо зрозумілий у своєму первісному дописі. Я спробував уточнити своє запитання завдяки вашим коментарям і таким чином, що все ще робить цю відповідь значущою.

— lacerbi