Просте наближення кумулятивного розподілу Пуассона в довгий хвіст?

Я хочу визначити ємність $C$ таблиці, щоб вона мала залишкові шанси менше для переповнення для заданого , припускаючи, що кількість записів відповідає закону Пуассона із заданим тривалість . $2^{-p}$ $p\in[40\dots 120]$ $E\in[10^3\dots 10^{12}]$

В ідеалі я хочу, щоб найнижче ціле число було Cтаким, що 1-CDF[PoissonDistribution[E],C] < 2^-pдля заданих pі E; але я задоволений деякими Cдещо вищими за це. Mathematica прекрасно підходить для ручного обчислення, але я хотів би обчислити Cз pі Eпід час компіляції, що обмежує мене в 64-бітному цілочисельний арифметики.

Оновлення: у Mathematica (версія 7) e = 1000; p = 40; c = Quantile[PoissonDistribution[e], 1 - 2^-p]є 1231і, здається, правильно (спасибі @Procrastinator); однак результат і для того p = 50і p = 60є 1250, що неправильно з боку небезпеки (і важливо: мій експеримент повторюється як разів і більше, і я хочу, мабуть, менше ніж шансів на невдачу). Я хочу певного, але безпечного наближення, використовуючи лише 64-бітну цілу арифметику , як це доступно в C (++) під час компіляції. $2^{25}$ $2^{-30}$

poisson-distribution

— fgrieu
джерело

Як щодо C = Quantile[PoissonDistribution[E],1-2^p]?

Провідний член функції ймовірнісних мас Пуассона домінує в хвості.

— кардинал

@Procrastinator: так , що працює в Mathematica (за винятком знака p, а також питання точності, і імена Eі Cякі зарезервовані). Але мені потрібно просте наближення цього, можливо, сирого (але з безпечної сторони), використовуючи лише 64-бітну цілу арифметику!

— fgrieu

Повторіть оновлення: Mathematica 8 повертає 1262 для

і 1290 для

. Повторне наближення (@Proc): не можна очікувати, що воно буде добре працювати в хвостах, що є ключовим для розрахунку.

p = 50

$p=50$

p = 60

$p=60$

— whuber

Можливо, вам слід запитати про stackoverflow. Я не знайомий з вашими обмеженнями. Я не знаю, що заважає вам використовувати динамічне розподілення пам’яті, чи ви можете використовувати розгалуження, щоб визначити розмір масиву, або які витрати на визначення масиву, що вдвічі перевищує потрібний вам розмір (а потім не використовувати всі з неї). Якщо деякі функціонують як

(лише як приклад) дав точну відповідь, чи зможете ви здійснити наближення під вашими обмеженнями чи ні? Наче зараз проблема програмування.

μ + \sqrt{\log \log μ} \log μ \sqrt{μ} + p \frac{\sqrt{μ}}{\log μ}

$\mu + \sqrt{\log\log \mu} \log \mu \sqrt \mu + p \frac{\sqrt{\mu}} {\log \mu}$

— Дуглас Заре

Відповіді:

Розподіл Пуассона з великим середнім значенням є приблизно нормальним, але ви повинні бути обережними, що вам потрібно зав'язати хвіст, а нормальне наближення пропорційно менш точне біля хвостів.

Один із підходів, що використовується в цьому запитанні про МО та при біноміальних розподілах, полягає у визнанні того, що хвіст зменшується швидше, ніж геометричний ряд, тому ви можете записати явну верхню межу як геометричний ряд.

\begin{array}{rcl} \sum_{к = D}^{\infty} досвід (- мк) \frac{{мк}^{к}}{к!} & < & \sum_{к = D}^{\infty} досвід (- мк) \frac{{мк}^{D}}{D!} (\frac{мк}{D + 1})^{к - D} \\ = & досвід (- мк) \frac{{мк}^{D}}{D!} \frac{1}{1 - \frac{мк}{D + 1}} \\ < & досвід (- мк) \frac{{мк}^{D}}{\sqrt{2 π D} (D / е)^{D}} \frac{1}{1 - \frac{мк}{D + 1}} \\ = & досвід (D - мк) (\frac{мк}{D})^{D} \frac{D + 1}{\sqrt{2 π D} (D + 1 - мк)} \end{array}

$\begin{eqnarray}\sum_{k=D}^\infty \exp(-\mu)\frac{\mu^k}{k!} & \lt & \sum_{k=D}^\infty \exp(-\mu) \frac{\mu^D}{D!}\bigg(\frac \mu{D+1}\bigg)^{k-D} \\ & = & \exp(-\mu)\frac{\mu^D}{D!}\frac{1}{1-\frac{\mu}{D+1}} \\ & \lt & \exp(-\mu) \frac{\mu^D}{\sqrt{2\pi D}(D/e)^D} \frac{1}{1-\frac{\mu}{D+1}} \\ & = & \exp(D-\mu) \bigg(\frac{\mu}{D}\bigg)^D \frac{D+1}{\sqrt{2\pi D} (D+1-\mu)}\end{eqnarray}$

Рядок 2 рядок 3 стосувався формули Стірлінга. На практиці я думаю, ви тоді хочете вирішити чисельно за допомогою двійкового пошуку. Метод Ньютона, починаючи з початкової здогадки $\to$ $-p \log 2 = \log(\text{bound})$ також повинні працювати. $D = \mu + c \sqrt \mu.$

Наприклад, при і , числове рішення, яке я отримую, становить 1384,89. Розподіл Пуассона із середнім значенням $p=100$ $\mu = 1000$ $1000$ приймає значення від через з ймовірністю Значення через відбувається з імовірністю $0$ $1384$ $1-1/2^{100.06}.$ $0$ $1383$ $1-1/2^{99.59}.$

— Дуглас Заре
джерело

+1. Інший підхід пов'язує ймовірності хвоста Пуассона (праворуч) з хвостовими ймовірностями розподілу гамми (зліва), які можна уважно (над) оцінити з наближенням сідлоподібної точки.

— whuber

Існує довгий шлях від цього до чогось, обмеженого 64-бітною цілочисельною арифметикою (без досвіду, журналу, sqrt ..), але я буду працювати над цим; Дякую всім!

— fgrieu

(+1) До виклику наближення Стірлінга (що не має значення), це саме та межа, про яку я (непрозоро) посилався у своєму коментарі до ОП. (Наприклад, дивіться тут .)

— кардинал

Ви можете побачити P. Harremoës: Різкі межі на ймовірності хвоста для випадкових змінних Пуассона https://helda.helsinki.fi/bitstream/handle/10138/229679/witmse_proc_17.pdf Основні нерівності полягають у наступному. Нехай $Y$ - випадкова величина Пуассона з параметром $\lambda$ . Покладіть

Г (х) = \sqrt{2 (х \ln \frac{х}{λ} + λ - х)} с i г н (х - λ) .

$G(x)= \sqrt{2\left(x\ln \frac{x}{\lambda} +\lambda-x\right)} \ \ {\rm sign} \left(x-\lambda\right).$ Нехай

Φ

$\Phi$ позначає функцію кумулятивного розподілу для стандартного нормального закону. Тоді для всіх цілих

k \geq 0

$k\ge 0$ ,

П (Y < к) \leq Φ (Г (к)) \leq П (Y \leq к),

${\bf P}(Y<k)\le \Phi(G(k)) \le {\bf P}(Y\le k),$ що еквівалентно

для всіх цілих чисел

Φ (Г (к - 1)) \leq П (Y < к) \leq Φ (Г (к))

$\Phi(G(k-1)) \le {\bf P}(Y<k)\le \Phi(G(k))$

k > 0

$k>0$ . Крім того,

Φ (G (k + (1 / 2))) \leq P (Y \leq k)

$\Phi(G(k+(1/2))) \le {\bf P}(Y\le k)$ , яке означає , що

Φ (Г (к - 1 / 2)) \leq П (Y < к) \leq Φ (Г (к))

$\Phi(G(k-1/2)) \le {\bf P}(Y<k)\le \Phi(G(k))$ для всіх цілих чисел

k > 0

$k>0$ .

— Павло Рузанкін
джерело

Якби ви могли написати основне рівняння (якщо припустити, що є лише одне-два), яке допоможе у випадку, якщо посилання на деякий час перестане вмирати.

— jbowman