Чим розподіл Пуассона відрізняється від нормального розподілу?

Я створив вектор, який має розподіл Пуассона так:

x = rpois(1000,10)

Якщо я роблю гістограму за допомогою hist(x), розподіл виглядає як звичний звичайний розподіл у формі дзвоника. Однак тест Колмогорова-Смірноффа, який використовує, ks.test(x, 'pnorm',10,3)говорить, що розподіл суттєво відрізняється від звичайного розподілу через дуже мале pзначення.

Отже, моє запитання: чим розподіл Пуассона відрізняється від нормального розподілу, коли гістограма виглядає настільки схожою на звичайний розподіл?

1. Розподіл Пуассона є дискретним, тоді як нормальний розподіл безперервний, а випадкова величина Пуассона завжди> = 0. Таким чином, тест Колгоморова-Смірнова часто зможе визначити різницю.

2. Коли середнє значення розподілу Пуассона велике, воно стає подібним до нормального розподілу. Однак, rpois(1000, 10)навіть не дивиться , що схоже на нормальний розподіл (вона зупиняється на 0 , а правий хвіст занадто довгий).

3. Чому ви порівняєте це, ks.test(..., 'pnorm', 10, 3)а не ks.test(..., 'pnorm', 10, sqrt(10))? Різниця між 3 і невеликий, але сам по собі змінить порівняння розподілів. Навіть якби розподіл справді був нормальним, ви отримаєте антиконсервативне розподілення p-значень:$\sqrt{10}$

   set.seed(1)
   
   hist(replicate(10000, ks.test(rnorm(1000, 10, sqrt(10)), 'pnorm', 10, 3)$p.value))
   

Ось набагато простіший спосіб зрозуміти це:

Ви можете розглядати біноміальний розподіл як "матір" більшості дистрибутивів. Нормальний розподіл - це лише наближення біноміального розподілу, коли n стає досить великим. Насправді, Авраам де Мойвре, по суті, виявив нормальний розподіл, намагаючись наблизити біноміальний розподіл, оскільки він швидко виходить з ладу для обчислення біноміального розподілу, оскільки п росте особливо, коли у вас немає комп'ютерів ( довідка ).

Розподіл Пуассона - це ще одне наближення біноміального розподілу, але воно набагато краще, ніж нормальне розподіл, коли n великий і p малий, а точніше, коли середнє значення приблизно таке ж, як дисперсія (пам’ятайте, що для біноміального розподілу середнє = np та var = np (1-p)) ( довідник ). Чому саме ця ситуація така важлива? Мабуть, це дуже багато в реальному світі, і тому ми маємо це "особливе" наближення. Нижче на прикладі проілюстровані сценарії, коли наближення Пуассона справді чудово працює.

Приклад

У нас є центр обробки даних на 100 000 комп'ютерів. Вірогідність того, що будь-який комп’ютер сьогодні не працює, становить 0,001. Тому в середньому np = 100 комп'ютерів виходять з ладу в центрі обробки даних. Яка ймовірність того, що сьогодні вийдуть з ладу лише 50 комп’ютерів?

Binomial: 1.208E-8
Poisson: 1.223E-8
Normal: 1.469E-7

Насправді, якість наближення для нормального розподілу зменшується, коли ми йдемо в хвіст розподілу, але Пуассон продовжує триматися дуже добре. У наведеному вище прикладі розглянемо, яка ймовірність того, що сьогодні вийдуть з ладу лише 5 комп’ютерів?

Binomial: 2.96E-36 
Poisson: 3.1E-36
Normal: 9.6E-22

Сподіваємось, це дає вам краще інтуїтивне розуміння цих трьох розподілів.

$\lambda$$n$$p_n$$p_n = \lambda / n$

Один досить тривалий розвиток можна знайти в цьому блозі .

$X_n \sim \mathrm{Binomial}(n,\lambda/n)$ $k$

$$\begin{align} \mathbb P(X_n = k) &= \frac{n!}{k!(n-k)!} \left(\frac{\lambda}{n}\right)^k \left(1-\frac{\lambda}{n}\right)^{n-k} \\ &= \underbrace{\frac{n! n^{-k}}{(n-k)!}}_{\to 1} \frac{\lambda^k}{k!}\underbrace{(1-\lambda/n)^n}_{\to e^{-\lambda}} \cdot \underbrace{(1-\lambda/n)^{-k}}_{\to 1} \>. \end{align}$$

$n \to \infty$$k$

$$\mathbb P(X_n = k) \to \frac{e^{-\lambda} \lambda^k}{k!} \,,$$ $n \to \infty$$(1-\lambda/n)^n \to e^{-\lambda}$

$n$$p$$\approxeq^d \mathcal N(np, np(1-p))$$n \rightarrow \infty$$p$$p_n = \lambda / n \rightarrow 0$$\lambda$$n$