Пуассон - це експоненціальна, як до чого гамма-Пуассон?

Розподіл Пуассона може вимірювати події за одиницю часу, а параметр - . Експонентний розподіл вимірює час до наступної події параметром . Можна перетворити один розподіл в інший, залежно від того, чи легше моделювати події чи час. $\lambda$ $\frac{1}{\lambda}$

Тепер гамма-пуассон - це "розтягнутий" пуассон з більшою дисперсією. Розподіл Вейбула - це "розтягнута" експоненція з більшою дисперсією. Але чи можна ці два легко перетворити один на одного, таким же чином, як Пуассон може бути перетворений в експоненціальний?

Або є якийсь інший розподіл, який доцільніше використовувати в поєднанні з розподілом гамма-пуассона?

Гамма-пуассон також відомий як негативний біноміальний розподіл, або NBD.

— zbicyclist
джерело

Відповіді:

Це досить пряма проблема вперед. Хоча існує зв'язок між пуассоновим та негативним біноміальними розподілами, я фактично вважаю, що це не корисно для вашого конкретного питання, оскільки це спонукає людей думати про негативні біноміальні процеси. В основному у вас є серія процесів Пуассона:

Y_{i} (t_{i}) | λ_{i} \sim P o i s s o n (λ_{i} t_{i})

$Y_i(t_i)|\lambda_i\sim Poisson(\lambda_i t_i)$

Де - це процес, а - це час, коли ви його спостерігаєте, і позначає індивідів. А ви говорите, що ці процеси "схожі", пов'язавши ставки разом з розподілом: $Y_i$ $t_i$ $i$

λ_{i} \sim Г а м м а (α, β)

$\lambda_i\sim Gamma(\alpha,\beta)$

Здійснюючи інтеграцію / mxixing над , у вас є: $\lambda_i$

Y_{i} (t_{i}) | α β \sim N e g B i n (α, p_{i}) w h e r e p_{i} = \frac{t_{i}}{t_{i} + β}

$Y_i(t_i)|\alpha\beta\sim NegBin(\alpha,p_i)\;\;\; where \;\;p_i=\frac{t_i}{t_i+\beta}$

Це має pmf:

P r (Y_{i} (t_{i}) = y_{i} | α β) = \frac{Γ (α + y_{i})}{Γ (α) y_{i}!} p_{i}^{y_{i}} (1 - p_{i})^{α}

$Pr(Y_i(t_i)=y_i|\alpha\beta) = \frac{\Gamma(\alpha+y_i)}{\Gamma(\alpha)y_i!}p_i^{y_i}(1-p_i)^\alpha$

Для отримання розподілу часу очікування зазначимо, що:

P r (T_{i} \leq t_{i} | α β) = 1 - P r (T_{i} > t_{i} | α β) = 1 - P r (Y_{i} (t_{i}) = 0 | α β)

$Pr(T_i\leq t_i|\alpha\beta)=1-Pr(T_i> t_i|\alpha\beta)=1-Pr(Y_i(t_i)=0|\alpha\beta)$

= 1 - (1 - p_{i})^{α} = 1 - {(1 + \frac{t_{i}}{β})}^{- α}

$=1-(1-p_i)^\alpha=1-\left(1+\frac{t_i}{\beta}\right)^{-\alpha}$

Диференціюйте це і у вас є PDF:

p_{T_{i}} (t_{i} | α β) = \frac{α}{β} {(1 + \frac{t_{i}}{β})}^{- (α + 1)}

$p_{T_i}(t_i|\alpha\beta)=\frac{\alpha}{\beta}\left(1+\frac{t_i}{\beta}\right)^{-(\alpha+1)}$

Це член узагальнених розподілів Парето, тип II. Я б використовував це як розподіл часу очікування.

Щоб побачити зв’язок з розподілом Пуассона, зауважте, що , так що якщо встановити $\frac{\alpha}{\beta}=E(\lambda_i|\alpha\beta)$ а потім беремо границюотримуємо: $\beta=\frac{\alpha}{\lambda}$ $\alpha\to\infty$

lim_{α \to \infty} \frac{α}{β} {(1 + \frac{t_{i}}{β})}^{- (α + 1)} = lim_{α \to \infty} λ {(1 + \frac{λ t_{i}}{α})}^{- (α + 1)} = λ \exp (- λ t_{i})

$\lim_{\alpha\to\infty}\frac{\alpha}{\beta}\left(1+\frac{t_i}{\beta}\right)^{-(\alpha+1)}=\lim_{\alpha\to\infty}\lambda\left(1+\frac{\lambda t_i}{\alpha}\right)^{-(\alpha+1)}=\lambda\exp(-\lambda t_i)$

Це означає, що ви можете інтерпретувати як параметр наддисперсії. $\frac{1}{\alpha}$

— ймовірністьіслогічна
джерело

Ви також можете відзначити, що розподіл часу очікування - це, грубо кажучи, експоненціальний розподіл з параметром випадкової швидкості Гамма і строго кажучи, це бета-розподіл другого роду, як і для будь-якого розподілу Гамми з параметром випадкової швидкості Гамма.

— Стефан Лоран

Використовуючи @probabilityislogic в якості основи, я знайшов наступну статтю, що надає більш детальну інформацію про взаємозв'язок між NBD та Парето: Гупта, Суніл та Дональд Г. Моррісон. Оцінка гетерогеніту в курсах закупівель споживачів. Маркетингова наука, 1991, 10 (3), 264-269. Дякую всім, хто допоміг мені відповісти на це питання.

— zbicyclist

+1, я думаю, ця приємна аналітична форма може більше не існувати для

, де

P o i s s o n (λ_{i} t_{i} + c)

$Poisson(\lambda_i t_i + c)$

c

$c$ - константа.

— Рендел

@randel - ви можете отримати форму "nice-ish", зазначивши, що цей rv є сумою двох незалежних rvs ...

де

- те саме, що вище, а

. Оскільки

не залежить від

чи

pdf

- це згортання вищезазначених негативних біноміальних pdf та poisson pdf. Щоб отримати розподіл часу очікування, просто помножте

Z_{i} = Y_{i} + X_{i}

$Z_i=Y_i+X_i$

Y_{i}

$Y_i$

X_{i} \sim p o i s s o n (c)

$X_i\sim poisson (c)$

X_{i}

$X_i$

λ_{i}

$\lambda_i$

Y_{i}

$Y_i$

Z_{i}

$Z_i$

у наведеній вище відповіді

. Потім ви отримуєте час очікування cdf

P r (Y_{i} = 0)

$Pr(Y_i=0)$

P r (X_{i} = 0) = e^{- c}

$Pr(X_i=0)=e^{-c}$

і pdf

1 - e^{- c} {(1 + \frac{t_{i}}{β})}^{- α}

$1-e^{-c}\left(1+\frac{t_i}{\beta}\right)^{-\alpha}$

e^{- c} \frac{α}{β} {(1 + \frac{t_{i}}{β})}^{- (α + 1)}

$e^{-c}\frac {\alpha}{\beta}\left(1+\frac{t_i}{\beta}\right)^{-(\alpha+1)}$

— ймовірністьлогічний

Це не буде працювати з точки зору розподілу змішування, оскільки вам потрібно

(інакше середнє значення пуассона негативне). Розподіл гамма-змішування повинен бути скорочений (я також припускав, що

у попередній відповіді). Це означатиме відсутність розподілу nb.

λ_{i} < c t_{i}^{- 1}

$\lambda_i <ct_i^{-1}$

c > 0

$c>0$

— ймовірністьлогічний

Одна з можливостей: Пуассон - це експоненціальна, як негативно-двочленна - це ... Експоненціальна!

Існує чистий стрибок у зростаючому процесі Леві, який називається негативним біноміальним процесом, таким чином, що в момент часу значення має негативне біноміальне розподіл. На відміну від процесу Пуассона, стрибки майже не впевнені . Натомість вони слідують логарифмічному розподілу . За законом тотальної дисперсії частина дисперсії походить від кількості стрибків (масштабується середній розмір стрибків), а частина дисперсії походить від розмірів стрибків, і ви можете використовувати це, щоб перевірити, чи це є наддисперсним. $t$ $1$

Можуть бути й інші корисні описи. Див. "Обрамлення негативного біноміального розподілу для секвенування ДНК".

Дозвольте мені більш чітко розповісти про те, як може бути побудований описаний вище негативний біноміальний процес.

Виберіть . $p \lt 1$
Нехай бути IID з логарифмічними розподілами, тому $X_1, X_2, X_3, ...$ $P(x_i = k) = \frac{-1}{\log(1-p)} \frac{p^k}{k}.$
$N$ $-\log(1-p)$ $N(t) = \text{Pois}(-t \log(1-p)).$
$NBP$

N B P (t) = \sum_{i = 1}^{N (t)} X_{i} .

$NBP(t) = \sum_{i=1}^{N(t)} X_i.$

$NBP$ $-\log(1-p).$

I don't think it is obvious from this description that $NBP(t)$ has a negative binomial $NB(t,p)$ distribution, but there is a short proof using probability generating functions on Wikipedia, and Fisher also proved this when he introduced the logarithmic distribution to analyze the relative frequencies of species.

— Douglas Zare
джерело

No, any compound Poisson process has an exponential waiting time. This means you add

Pois (λ t)

$\text{Pois}(\lambda t)$ IID random variables with some distribution.

— Douglas Zare

No, that is not what is meant by a compound Poisson process. en.wikipedia.org/wiki/Compound_Poisson_process " The jumps arrive randomly according to a Poisson process and the size of the jumps is also random, with a specified probability distribution." I did not say IID Poisson variables. You take the

N

$N$ th partial sum of IID logarithmic random variables where

N

$N$ is the value of a Poisson process.

— Douglas Zare

If you multiply a Poisson process by

2

$2$ , this is not a Poisson process and the waiting times remain exponential.

— Douglas Zare

let us continue this discussion in chat

— Douglas Zare

I am not able to comment yet so I apologize is this isn't a definitive solution.

You are asking for the appropriate distribution to use with an NB but appropriate isn't entirely defined. If an appropriate distribution means appropriate for explaining data and you are starting with an overdispersed Poisson then you may have to look further into the cause of the overdispersion. The NB doesn't distinguish between a Poisson with heterogeneous means or a positive occurrence dependence (that one event occurring increases the probability of another occurring). In continuous time there is also duration dependence, eg positive duration dependence means the passage of time increases the probability of an occurrence. It was also shown that negative duration dependence asymptotically causes an overdispersed Poisson[1]. This adds to the list of what might be the appropriate waiting time model.

— Meadowlark Bradsher
джерело

cause of the overdispersion: This is consumer purchase data. Individual consumers are poisson, each with a rate of purchase lambda. But not every consumer has the same lambda -- that's the cause of the overdispersion. The lambda purchasing rates are considered to be distributed as gamma. This is a common model (traces back to A.S.C. Ehrenberg), but I haven't found anything in his writing that answers this question.

— zbicyclist