Перейти від моделювання процесу за допомогою розподілу Пуассона, щоб використовувати негативний біноміальний розподіл?

$\newcommand{\P}{\mathbb{P}}$ Ми маємо випадковий процес , який може або може-ні-відбуватися кілька разів в протягом заданого періоду часу . У нас є канал даних із попередньо існуючої моделі цього процесу, що забезпечує ймовірність виникнення ряду подій у періоді 0 \ leq t <T . Ця існуюча модель є старою, і нам потрібно запускати перевірки в реальному часі на дані каналу для помилок оцінки. Стара модель, що виробляє подачу даних (яка забезпечує ймовірність n подій, що відбудуться в t, що залишився в часі ), приблизно розподілена Пуассоном.$T$$0 \leq t < T$$n$$t$

Таким чином , щоб перевірити наявність аномалій / помилок, ми дозволяємо $t$ бути час , що залишився і $X_t$ бути загальна кількість подій відбувається в час, що залишився $t$ . Стара модель передбачає оцінки $\P(X_t \leq c)$ . Отже, за нашим припущенням $X_t\sim \operatorname{Poisson}(\lambda_{t})$ маємо:

$$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$$ Щоб отримати наш показник подій $\lambda_t$ з виводу старої моделі (спостереження $y_{t}$ ), ми використовуємо підхід до простору стану і моделюємо співвідношення стану як: $$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$$ Ми фільтруємо спостереження зі старої моделі, використовуючи модель простору стану [зменшення постійної швидкості] для еволюції $\lambda_t$ щоб отримати відфільтрований стан $E(\lambda_t|Y_t)$ і позначити аномалію / помилку в оціночній частоті події від дані каналу, якщо $E(\lambda_t|Y_t) < y_t$ .

Такий підхід спрацьовує фантастично при зборі помилок у розрахунковій кількості подій протягом повного періоду часу $T$ , але не так добре, якщо ми хочемо зробити те ж саме для іншого періоду $0 \leq t < \sigma$ де $\sigma < \frac{2}{3} T$ . Щоб обійти це, ми вирішили, що тепер хочемо перейти на використання негативного біноміального розподілу, щоб припустити, що тепер $X_t\sim NB(r, p)$ і маємо:

$$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$$ де параметр $\lambda$ тепер замінено на $r$ і $p$. Це потрібно зробити просто, але я маю певні труднощі з тлумаченням, і тому у мене є деякі питання, з якими я хотів би допомогти вам:

1. Чи можемо ми просто встановити $p = \lambda$ в негативному біноміальному розподілі? Якщо ні, то чому б і ні?

2. Припустимо, що ми можемо встановити $p = f(\lambda)$ де $f$ - деяка функція, як ми можемо правильно встановити $r$ (чи потрібно нам підходити $r$ використовуючи минулі набори даних)?

3. Чи залежить $r$ від кількості подій, які ми очікуємо відбутися протягом певного процесу?

---

Додаток до вилучення кошторисів для $r$ (і $p$ ):

Я усвідомлюю, що якби насправді була усунена ця проблема, і ми мали кількість подій для кожного процесу, ми могли б прийняти максимальну оцінку ймовірності для та . Звичайно, максимальний показник ймовірності існує лише для зразків, для яких дисперсія вибірки більша за середню вибірку, але якби це було так, ми могли б встановити функцію ймовірності для незалежних однаково розподілених спостережень як: з якого ми можемо записати функцію вірогідності журналу як: $r$$p$$N$$k_1, k_2, \ldots, k_{N}$

$$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$$ $$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$$ Щоб знайти максимум, беремо часткові похідні відносно і і встановлюємо їх рівним нулю: Налаштування та встановлення знаходимо: $r$$p$ $$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$$ $\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$$p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$ $$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$$ Це рівняння не можна вирішити для r у закритому вигляді, використовуючи Ньютон або навіть ЕМ. Однак у цій ситуації це не так. Хоча ми могли використати минулі дані, щоб отримати статичний і це насправді не є корисним для нашого процесу, нам потрібно вчасно адаптувати ці параметри, як це робилося з Пуассоном. $r$$p$

Негативний біноміальний розподіл дуже схожий на біноміальну модель ймовірності. він застосовується, коли наступні припущення (умови) справні 1) Будь-який експеримент проводиться за тих же умов, поки не буде досягнуто фіксованого числа успіхів, скажімо, C 2) Результат кожного експерименту можна класифікувати на одну з двох категорій , успіх чи невдача 3) Ймовірність P успіху однакова для кожного експерименту. Кожен експеримент не залежить від усіх інших. Перша умова - єдиний ключовий диференціюючий фактор між біноміальним та негативним двочленним

Розподіл пуассона може бути розумним наближенням двочлена за певних умов, таких як 1) Ймовірність успіху для кожного випробування дуже мала. P -> 0 2) np = m (скажімо) є тонким Правилом, яке найчастіше використовують статистики, є те, що пуассон є хорошим наближенням двочлена, коли n дорівнює або більше 20, а p дорівнює або менше 5 %