Інтуїтивно зрозуміти, чому розподіл Пуассона є граничним випадком біноміального розподілу

У «Аналізі даних» DS Sivia є виведення розподілу Пуассона від біноміального розподілу.

Вони стверджують, що розподіл Пуассона є граничним випадком біноміального розподілу, коли $M\rightarrow\infty$ , де $M$ - кількість випробувань.

Питання 1: Як можна зрозуміти цей аргумент інтуїтивно?

Питання 2: Чому крупно $M$ межа $\frac{M!}{N!(M-N)!}$дорівнює$\frac{M^{N}}{N!}$, де$N$- кількість успіхів у$M$випробуваннях? (Цей крок використовується при виведенні.)

Спробую просте інтуїтивне пояснення. Запишіть, що для біноміальної випадкової величини ми очікуємо n p, а дисперсія - n p ( 1 - p ) . Тепер подумайте, що X записує кількість подій у дуже великій кількості n випробувань, кожна з дуже малою ймовірністю p , така, що ми дуже близькі до 1 - p = 1 (дійсно ≈ ). Тоді маємо n p = $X \sim \text{Bin}(n,p)$$n p$$n p (1-p)$$X$$n$$p$$1-p=1$$\approx$$np=\lambda$скажімо, і , тому середнє значення та дисперсія дорівнюють λ . Тоді пам’ятайте, що для пуассонової розподіленої випадкової величини ми завжди маємо середнє значення та дисперсію рівні! Це хоча б аргумент правдоподібності для наближення Пуассона, але не є доказом.$n p (1-p) \approx n p 1 =\lambda$$\lambda$

Потім подивіться на це з іншої точки зору, процес пуассонової точки https://en.wikipedia.org/wiki/Poisson_point_process на реальній лінії. Це розподіл випадкових точок на прямій, яку ми отримуємо, якщо випадкові точки трапляються за правилами:

1. точки в неперервних інтервалах незалежні
2. ймовірність випадкової точки за дуже короткий інтервал пропорційна довжині інтервалу
3. ймовірність двох або більше точок за дуже короткий проміжок по суті дорівнює нулю.

Тоді розподіл кількості точок у заданому інтервалі (не обов'язково короткий) - Пуассон (параметр пропорційний довжині). Тепер, якщо ми розділимо цей інтервал на дуже багато, однаково дуже короткі підінтервали ( n ), ймовірність двох або більше точок у даному підінтервалі по суті дорівнює нулю, так що це число матиме дуже гарне наближення розподіл берноллі, тобто Bin ( 1 , p ) , тому сума всього цього буде Bin ( n , p ) , тому добре наближення розподілу Пуассона до числа точок у тому (довгому) проміжку.$\lambda$$n$$\text{Bin}(1,p)$$\text{Bin}(n,p)$

Редагувати від @Ytsen de Boer (OP): на питання № 2 відповідь задоволено @ Łukasz Grad.

Дозвольте надати альтернативну евристику. Я збираюся показати, як наблизити процес Пуассона до двочленного (і стверджую, що наближення краще для багатьох випробувань з низькою ймовірністю). Тому біноміальне розподіл повинно бути властивим розподілу Пуассона.

Скажімо, події відбуваються з постійною швидкістю у часі. Ми хочемо знати розподіл кількості подій за день, знаючи, що очікувана кількість подій становить $\lambda$ .

Ну, очікувана кількість подій на годину - $\lambda/24$ . Зробимо вигляд, що це означає, що ймовірність того, що подія відбудеться в певну годину, становить $\lambda/24$ . [це не зовсім правильно, але це гідне наближення, якщо $\lambda/24 \ll 1$ основному, якщо ми можемо припустити, що багато подій не відбудеться за одну і ту ж годину]. Тоді ми можемо орієнтовно розподілити кількість подій як двочлен з випробуваннями $M=24$ , кожна з яких має ймовірність успіху $\lambda/24$ .

Ми вдосконалюємо наближення, переключаючи свій інтервал на хвилини. Тоді це $p=\lambda/1440$ з випробуваннями $M=1440$ . Якщо $\lambda$ навколо, скажімо, 10, то ми можемо бути впевнені, що жодної хвилини не було двох подій.

Звичайно, стає краще, якщо ми перейдемо на секунди. Тепер ми дивимося на $M=86400$ подій, кожен з невеликою ймовірністю $\lambda/86400$ .

Незалежно від того, наскільки великий ваш $\lambda$ , я в кінцевому підсумку можу вибрати достатньо малий $\Delta t$ такий, що дуже ймовірно, що жодні дві події не відбудуться в одному інтервалі. Тоді біноміальне розподіл, що відповідає $\Delta t$ буде чудовим збігом із справжнім розподілом Пуассона.

Єдина причина, що вони не однакові - це те, що існує ненульова ймовірність того, що дві події відбудуться за один і той же часовий проміжок. Але зважаючи на те, що існує лише близько $\lambda$ подій, і вони розподіляються на деяку кількість бункерів набагато більше, ніж $\lambda$ , малоймовірно, що будь-які з них лежать в одній кошику.

Або, іншими словами, біноміальний розподіл прагне до розподілу Пуассона як $M \to \infty$ , якщо ймовірність успіху є $p=\lambda/M$ .

питання 1

Згадаймо визначення біноміального розподілу:

частотний розподіл можливої ​​кількості успішних результатів у заданій кількості випробувань, у кожному з яких існує однакова ймовірність успіху.

Порівняйте це з визначенням розподілу Пуассона:

дискретний розподіл частоти, який дає ймовірність виникнення ряду незалежних подій у фіксований час .

Суттєва різниця між двома двочленними є в випробуваннях, Пуассон перебуває за певний проміжок часу t . Як межа може виникати інтуїтивно?$n$$t$

Скажемо, що ви повинні продовжувати проводити випробування Бернуллі на всю вічність. Більше того, ти працюєш в хвилину. За хвилину ви рахуєте кожен успіх. Отже, на всю вічність ви щогодини керуєте процесом B i n ( p , 30 ) . Протягом 24 годин у вас є B i n ( p , 43200 ) .$n = 30$$Bin(p,30)$$Bin(p,43200)$

Коли ви втомлюєтесь, вас запитують "скільки успіхів відбулося між 18:00 та 19:00?". Відповідь може бути , тобто ви забезпечуєте середній успіх за годину. Це мені дуже схоже на параметр Пуассона λ .$30*60*p$$\lambda$

Питання 2)

$$\frac{\frac{M!}{N!(M-N)!}}{\frac{M^N}{N!}} = \frac{M(M-1)\dots(M - N + 1)}{M^N} = 1(1 - \frac{1}{M})\dots(1 - \frac{N - 1}{M})$$

So taking the limit for fixed $N$

$$\lim_{M \to \infty} \frac{\frac{M!}{N!(M-N)!}}{\frac{M^N}{N!}} = \lim_{M \to \infty} 1(1 - \frac{1}{M})\dots(1 - \frac{N - 1}{M}) = 1$$

The problem is that your characterization of the Poisson as a limiting case of the binomial distribution is not quite correct as stated.

The Poisson is a limiting case of the binomial when:

$$M \to \infty \quad \color{red}{\text{and} \quad Mp \to \lambda.}$$ The second part is important. If $p$ remains fixed, the first condition implies that the rate will also increase without bound.

What the Poisson distribution assumes is that events are rare. What we mean by "rare" is not that the rate of events is small--indeed, a Poisson process may have a very high intensity $\lambda$--but rather, that the probability of an event occurring at any instant in time $[t, t + dt)$ is vanishingly small. This is in contrast to a binomial model where the probability $p$ of an event (e.g. "success") is fixed for any given trial.

To illustrate, suppose we model a series of $M$ independent Bernoulli trials each with probability of success $p$, and we look at what happens to the distribution of the number of successes $X$ as $M \to \infty$. For any $N$ as large as we please, and no matter how small $p$ is, the expected number of successes $\operatorname{E}[X] = Mp > N$ for $M > N/p$. Put another way, no matter how unlikely the probability of success, eventually you can achieve an average number of successes as large as you please if you perform sufficiently many trials. So, $M \to \infty$ (or, just saying "$M$ is large") is not enough to justify a Poisson model for $X$.

It is not difficult to algebraically establish

$$\Pr[X = x] = e^{-\lambda} \frac{\lambda^x}{x!}, \quad x = 0, 1, 2, \ldots$$ as a limiting case of $$\Pr[X = x] = \binom{M}{x} p^x (1-p)^{M-x}, \quad x = 0, 1, 2, \ldots, M$$ by setting $p = \lambda/M$ and letting $M \to \infty$. Other answers here have addressed the intuition behind this relationship and provided computational guidance as well. But it is important that $p = \lambda/M$. You can't ignore this.

I can only attempt a part answer and it is about the intuition for Question 2, not a rigorous proof.

The binomial coefficient gives you the number of samples of size $N$, from $M$, without replacement and without order.

Here though $M$ becomes so large that you may approximate the scenario as sampling with replacement in which case you get $M^N$ ordered samples. If you don't care about the order of the $N$ objects chosen this reduces to $M^N/N!$ because those $N$ objects can be ordered in $N!$ ways.

I think this is the best example that intuitively explains how binomial distribution converges to normal with large number of balls. Here, each ball has equal probability of falling on either side of the peg in each layer and all the balls have to face same number of pegs. It can be easily seen that as the number of balls goes very high the distribution of balls in different sections will be like normal distribution.

My answer to your question 2 is same as the answer given by Lukasz.