Як я можу ефективно моделювати суму випадкових змінних Бернуллі?

Я моделюю випадкову змінну ( $Y$ ), яка є сумою деяких ~ 15-40k незалежних випадкових змінних Бернуллі ( ), кожна з різною ймовірністю успіху ( ). Формально де і \ Pr (X_i = 0) = 1-p_i .$X_i$$p_i$$Y=\sum X_i$ Pr ( X i = 0 ) = 1 - p $\Pr(X_i=1)=p_i$$\Pr(X_i=0)=1-p_i$

Мені цікаво швидко відповідати на запити, такі як $\Pr(Y<=k)$ (де задано $k$ ).

В даний час я використовую випадкові симуляції для відповіді на такі запити. Я випадковим чином малюю кожен $X_i$ відповідно до його $p_i$ , а потім підсумовую всі значення $X_i$ щоб отримати $Y'$ . Я повторюю цей процес кілька тисяч разів і повертаю частку разів $\Pr(Y'\leq k)$ .

Очевидно, це не зовсім точно (хоча точність значно збільшується зі збільшенням кількості моделювання). Крім того, здається, у мене є достатньо даних про розподіл, щоб уникнути моделювання використання. Чи можете ви придумати розумний спосіб отримати точну ймовірність $\Pr(Y\leq k)$ ?

пс

Я використовую Perl & R.

EDIT

Після відповідей я подумав, що можуть знадобитися деякі уточнення. Я коротко опишу постановку своєї проблеми. Даний круговий геном з окружністю cта набором nдіапазонів, відображених на ньому. Наприклад, c=3*10^9і ranges={[100,200],[50,1000],[3*10^9-1,1000],...}. Зверніть увагу, що всі діапазони закриті (обидва кінці включено). Також зауважте, що ми маємо справу лише з цілими числами (цілими одиницями).

Я шукаю регіони в колі, які є прихованими даними nвідображеними діапазонами. Отже, щоб перевірити, чи заданий діапазон довжини xна колірі є непокритим, я перевіряю гіпотезу про те, що nдіапазони відображаються випадковим чином. Імовірність того , відображається діапазон довжини q>xбуде повністю охоплювати заданий діапазон довжини xце (q-x)/c. Ця ймовірність стає зовсім невеликою, коли cвона велика та / або qмала. Мене цікавить кількість діапазонів (поза n), які охоплюють x. Так Yформується.

Я перевіряю свою нульову гіпотезу щодо однобічної альтернативи (підпокриття). Також зауважте, що я перевіряю численні гіпотези (різної xдовжини), і обов'язково виправлюю це.

Якщо він часто нагадує Пуассона , ви намагалися наблизити його до Пуассона з параметром ?$\lambda = \sum p_i$

EDIT : Я знайшов теоретичний результат, який виправдовував це, а також назву розподілу : воно називається біноміальним розподілом Пуассона . Нерівність Ле-Кама говорить вам про те, наскільки тісно його розподіл апроксимується розподілом Пуассона з параметром . Це говорить про те, що якість цього приводу визначається сумою квадратів s, перефразовуючи Steele (1994) . Отже, якщо всі ваші s досить малі, як зараз здається, вони є, це має бути досить хорошим наближенням.λ = ∑ p i p i p $Y$$\lambda = \sum p_i$$p_i$$p_i$

EDIT 2 : Наскільки мало "розумно мало"? Ну, це залежить від того, наскільки хорошим потрібно наближення! Стаття у Вікіпедії про теорему Ле Кама дає точну форму результату, про який я згадував вище: сума абсолютних різниць між масовою функцією ймовірності (pmf) та pmf вищевказаного розподілу Пуассона не більше ніж удвічі більша сума квадратів s. Інший результат Le Cam (1960) може бути простішим у використанні: ця сума також не більше ніж у 18 разів більша за . Є ще кілька таких результатів ... див. Серфлінг (1978) для одного огляду.p i p $Y$$p_i$$p_i$

Я натрапив на ваше запитання, шукаючи рішення цієї самої проблеми. Я не був страшенно задоволений відповідями тут, але думаю, що є досить просте рішення, яке дає точний розподіл, і це досить простежується.

Розподіл суми двох дискретних випадкових величин - це згортання їх густин. Отже, якщо у вас де ви знаєте P ( X ) і P ( Y ), ви можете обчислити:$Z = X + Y$$P(X)$$P(Y)$

$$P(Z=z) = \sum_{k=-\infty}^{\infty} P(X=k) \; P(Y=z-k)$$

(Звичайно, для випадкових змінних Бернуллі вам не потрібно йти зовсім до нескінченності.)

Ви можете використовувати це для точного розподілу суми ваших RV. Спочатку підсумовуйте два RV разом, збираючи їх PDF (наприклад, [0,3, 0,7] * [0,6, 0,4] = [0,18, 0,54, 0,28]). Потім перенесіть цей новий дистрибутив у ваш наступний PDF Bernoulli (наприклад, [0,18, 0,54, 0,28] * [0,5, 0,5] = [0,09, 0,36, 0,41, 0,14]). Продовжуйте повторювати це, доки не будуть додані всі RV. І вуаля, отриманий вектор - це точний PDF суми всіх ваших змінних.

Я симулятором перевірив, що це дає правильні результати. Він не покладається на будь-які асимптотичні припущення і не вимагає, щоб проби Бернуллі були невеликими.

Також може бути якийсь спосіб зробити це більш ефективно, ніж повторна згортка, але я не надто глибоко думав про це. Я сподіваюся, що це комусь корисно!

@onestop пропонує хороші посилання. Стаття у Вікіпедії про біноміальний розподіл Пуассона дає рекурсивну формулу для обчислення точного розподілу ймовірностей; для цього потрібні зусилля . На жаль, це змінна сума, тому вона буде чисельно нестабільною: безнадійно робити це обчислення арифметикою з плаваючою комою. На щастя, коли p i є малим, потрібно обчислити лише невелику кількість ймовірностей, тому зусилля дійсно пропорційні O ( n log ( ∑ i p i ) ) . Точність, необхідна для проведення обчислення з раціональною арифметикою ($O(n^2)$$p_i$$O(n \log(\sum_i{p_i}))$тобто саме так, що числова нестабільність не є проблемою) зростає досить повільно, що загальний термін може все ще бути приблизно . Це можливо.$O(n^2)$

Як тест, я створив масив ймовірностей для різних значень n до n = 2 16 , який є розміром цієї проблеми. Для малих значень n (до n = 2 12 ) терміни точного обчислення ймовірностей були в секундах і масштабувалися квадратично, тому я ризикнув обчислити n = 2 $p_i = 1/(i+1)$$n$$n = 2^{16}$$n$$n = 2^{12}$$n = 2^{16}$на три SD вище середнього (ймовірності для 0, 1, ..., 22 успіху). Минуло 80 хвилин (з Mathematica 8), відповідно до передбачуваного часу. (Отримані ймовірності - це дроби, чисельники та знаменники яких мають близько 75 000 цифр за штуку!) Це показує, що розрахунок можна зробити.

Альтернативою є проведення тривалого моделювання (мільйон випробувань потрібно зробити). Вона має тільки зробити один раз, тому що не міняв.$p_i$

(Оскільки цей підхід не залежить від інших розміщених рішень, включаючи те, що я опублікував, я пропоную це як окрему відповідь).

Ви можете обчислити точний розподіл у секундах (або менше) за умови невеликої суми р.

Ми вже бачили припущення, що розподіл може бути приблизно гауссовим (за деякими сценаріями) або пуассонським (за інших сценаріїв). Так чи інакше, ми знаємо, що його середнє - сума p i, а його дисперсія σ 2 - сума p i ( 1 - p i ) . Тому розподіл буде сконцентровано в межах декількох стандартних відхилень від середнього значення, скажімо, z SD з z між 4 і 6 або після цього. Тому нам потрібно лише обчислити ймовірність того, що сума X дорівнює (ціле число) k при k = $\mu$$p_i$$\sigma^2$$p_i(1-p_i)$$z$$z$$X$$k$ через k = μ + z σ . Коли більша частина p i мала, σ 2 приблизно дорівнює (але трохи менше) μ , тому, щоб бути консервативним, ми можемо зробити обчислення для k в інтервалі [ μ - z $k = \mu - z \sigma$$k = \mu + z \sigma$$p_i$$\sigma^2$$\mu$$k$. Наприклад, коли сумаpiдорівнює9і вибираєz=6, щоб добре покрити хвости, нам знадобиться обчислення для покриттяkв[9-6$[\mu - z \sqrt{\mu}, \mu + z \sqrt{\mu}]$$p_i$$9$$z = 6$$k$=[0,27], що становить лише 28 значень.$[9 - 6 \sqrt{9}, 9 + 6 \sqrt{9}]$$[0, 27]$

Розподіл обчислюється рекурсивно . Нехай - розподіл суми першого i цих змінних Бернуллі. Для будь-якого j від 0 до i + 1 , сума перших змінних i + 1 може дорівнювати j двома взаємовиключними способами: сума перших змінних i дорівнює j, а i + 1- й дорівнює 0, інакше сума перша змінна i дорівнює j - 1 і the$f_i$$i$$j$$0$$i+1$$i+1$$j$$i$$j$$i+1^\text{st}$$0$$i$$j-1$ - 1 . Тому$i+1^\text{st}$$1$

$$f_{i+1}(j) = f_i(j)(1 - p_{i+1}) + f_i(j-1) p_{i+1}.$$

Нам потрібно лише провести це обчислення для інтеграла в інтервалі від max ( 0 , μ - z $j$ доμ+z$\max(0, \mu - z \sqrt{\mu})$ $\mu + z \sqrt{\mu}.$

Коли більшість є крихітними (але 1 - p i все ще відрізняються від 1 з розумною точністю), цей підхід не зазнає величезного накопичення помилок округлення з плаваючою точкою, використовуваних у попередньому розміщенні рішення. Тому розрахунки з розширеною точністю не потрібні. Наприклад, обчислення подвійної точності для масиву 2 16 ймовірностей p i = 1 / ( i + 1 ) ( μ = 10,6676 , що вимагає обчислення ймовірностей сум між $p_i$$1 - p_i$$1$$2^{16}$$p_i = 1/(i+1)$$\mu = 10.6676$$0$та ) зайняли 0,1 секунди з Mathematica 8 та 1-2 секунди з Excel 2002 (обидва отримали однакові відповіді). Повторення це з потрійною точністю (в Mathematica) зайняло близько 2 секунд, але не змінило жодної відповіді більш ніж на 3 × 10 - 15 . При припиненні розподілу при z = 6 SD в верхній хвіст втрачено лише 3,6 × 10 - 8 від загальної ймовірності.$31$$3 \times 10^{-15}$$z = 6$$3.6 \times 10^{-8}$

Інший розрахунок для масиву з 40000 випадкових значень подвійної точності між 0 і 0,001 ( ) зайняв 0,08 секунди за допомогою Mathematica.$\mu = 19.9093$

Цей алгоритм є паралельним. Просто розбийте набір на суміжні підмножини приблизно однакового розміру, по одному на процесор. Обчисліть розподіл для кожного підмножини, а потім згортайте результати (використовуючи FFT, якщо вам подобається, хоча це прискорення, ймовірно, непотрібне), щоб отримати повну відповідь. Це робить його практичним для використання навіть тоді, коли μ набуває великих розмірів, коли вам потрібно дивитися далеко в хвости ( z великий), та / або n великий.$p_i$$\mu$$z$$n$

Час для масиву змінних з m процесорами масштабується як O ( n ( μ + z $n$$m$. Швидкість Mathematica - близько мільйона в секунду. Наприклад, приm=1процесор,n=20000змінних, загальна ймовірністьμ=100, і виходить доz=6стандартних відхилень у верхній хвіст,n(μ+z$O(n(\mu + z \sqrt{\mu})/m)$$m = 1$$n = 20000$$\mu = 100$$z = 6$мільйона: підрахуйте пару секунд часу на обчислення. Якщо ви компілюєте це, ви можете прискорити продуктивність на два порядки.$n(\mu + z \sqrt{\mu})/m = 3.2$

До речі, у цих тестових випадках графіки розподілу чітко демонстрували деяку позитивну косисть: вони не є нормальними.

Для запису, ось рішення Mathematica:

pb[p_, z_] := Module[
  {\[Mu] = Total[p]},
  Fold[#1 - #2 Differences[Prepend[#1, 0]] &, 
   Prepend[ConstantArray[0, Ceiling[\[Mu] + Sqrt[\[Mu]] z]], 1], p]
  ]

( Примітка . Кольорове кодування, застосоване на цьому веб-сайті, не має сенсу для коду Mathematica. Зокрема, сірий матеріал не є коментарями: саме там виконується вся робота!)

Прикладом його використання є

pb[RandomReal[{0, 0.001}, 40000], 8]

---

Редагувати

У цьому тестовому випадку Rрішення вдесятеро повільніше, ніж Mathematica - можливо, я його не кодував оптимально - але він все одно швидко виконується (приблизно на одну секунду):

pb <- function(p, z) {
  mu <- sum(p)
  x <- c(1, rep(0, ceiling(mu + sqrt(mu) * z)))
  f <- function(v) {x <<- x - v * diff(c(0, x));}
  sapply(p, f); x  
}
y <- pb(runif(40000, 0, 0.001), 8)
plot(y)

З різними вашим найкращим ставкою, я думаю, це нормальне наближення. Нехай B n = ∑ n i = 1 p i ( 1 - p i ) . Потім$p_i$$B_n=\sum_{i=1}^np_i(1-p_i)$

ап→∞,умовищо для кожногое>

$$\begin{align*} B_n^{-1/2}\left(\sum_{i=1}^nX_i-\sum_{i=1}^np_i\right)\to N(0,1), \end{align*}$$ $n\to\infty$$\varepsilon>0$

ап→∞, що для змінних Бернуллі буде утримуйте, якщоBn→

$$\begin{align*} B_n^{-1}\sum_{i=1}^nE\left((X_i-p_i)^2\mathbf{1}\{|X_i-p_i|>\varepsilon B_n^{1/2}\}\right)\to 0, \end{align*}$$ $n\to\infty$$B_n\to\infty$. Це так звана умова Ліндеберга, яка є достатньою і необхідною для конвергенції до стандартної норми.

Оновлення: Похибка наближення може бути обчислена з наступної нерівності:

де L

$$\begin{align*} \sup_x|F_n(x)-\Phi(x)|\le AL_n, \end{align*}$$ іFn- cdf масштабованої та відцентрованої сумиXi. $$\begin{align*} L_n=B_n^{-3/2}\sum_{i=1}^nE|X_i-p_i|^3 \end{align*}$$ $F_n$$X_i$

Як зазначав Уубер, конвергенція може бути повільною для погано поведених . Для p i = $p_i$ маюУп≈провпілн≈(перп)-1/2. Тоді, беручиn=216,ми отримуємо, що максимальне відхилення від стандартного нормального cdf - це цілих 0,3.$p_i=\frac{1}{1+i}$$B_n\approx \ln n$$L_n\approx (\ln n)^{-1/2}$$n=2^{16}$

Ну, виходячи з вашого опису та обговорення в коментарях, зрозуміло, що має середнє значення ∑ i p i та дисперсію ∑ i p i$Y$$\sum_i p_i$ . Форма розподілу Y залежатиме в кінцевому підсумку від поведінки p i . Для відповідного "приємного" p i (в тому сенсі, що не надто багато з них дійсно близькі до нуля), розподіл Y буде приблизно нормальним (в центрі справа в ∑ p i ). Але як ∑ i $\sum_i p_{i}(1-p_{i})$$Y$$p_i$$p_i$$Y$$\sum p_i$ починаю прямувати до нуля, розподіл зміститься вліво, і коли він зіткнеться проти y- oxis, він почне виглядати набагато менш нормально і набагато більше Пуассона, як згадували @whuber та @onestop. $\sum_i p_i$$y$

З вашого коментаря "дистрибуція виглядає Пуассоном", я підозрюю, що цей останній випадок - це те, що відбувається, але насправді не можна бути впевненим без якогось візуального відображення або зведених статистичних даних про . Однак зауважте, як це робив @whuber, що при достатньо патологічній поведінці p 's у вас можуть траплятися всілякі моторошні речі, як обмеження, що є розподілом суміші. Я сумніваюся , що в даному випадку, але знову ж , це залежить від того, що вашого P «s робить.$p$$p$$p$

Щодо оригінального питання "як ефективно моделювати", я збирався запропонувати ієрархічну модель для вас, але це не дуже доречно, якщо є фіксованими константами. Коротше кажучи, погляньте на гістограму p і спершу здогадайтесь, базуючись на тому, що ви бачите. Я б рекомендував відповідь від @mpiktas (і з розширенням @csgillespie), якщо ваш p не надто переповнений ліворуч, і я би рекомендував відповідь від @onestop, якщо вони переповнені ліворуч.$p$$p$$p$

До речі, ось код R, який я використовував під час розв язання з цією проблемою: код не дуже підходить, якщо ваш занадто малий, але для p слід підключати різні моделі (включаючи моторошний- божевільні) , щоб побачити , що відбувається з кінцевими розподілами Y .$p$$p$$Y$

set.seed(1)
M <- 5000
N <- 15000
p <- rbeta(N, shape1 = 1, shape2 = 10)
Y <- replicate(M, sum(rbinom(N, size = 1, prob = p)))

Тепер погляньте на результати.

hist(Y)
mean(Y)
sum(p)
var(Y)
sum(p*(1 - p))

Веселитися; Я впевнений, що так.

Я думаю, що інші відповіді чудові, але я не бачив жодних байєсівських способів оцінити вашу ймовірність. Відповідь не має явної форми, але ймовірність може бути змодельована за допомогою R.

Ось спроба:

$$X_i | p_i \sim Ber(p_i)$$

$$p_i \sim Beta(\alpha, \beta)$$

Використання $\hat{\alpha}$$\hat{\beta}$

$i^{th}$$p_i$$Beta(\hat{\alpha},\hat{\beta})$$X_i$$Ber(p_i)$$N$$Y = \sum X_i$$M$$M$ Y буде оцінкою щільності Y.

$$Prob[Y \leq y] = \frac {\#Y \leq y} {M}$$

$p_i$

Як уже згадувалося в інших відповідях, розподіл ймовірностей, який ви описуєте, є біноміальним розподілом Пуассона. Ефективний метод обчислення CDF наведений у Гонгу, штат Ілі. Про обчислення функції розподілу для біноміального розподілу Пуассона .

Підхід полягає в ефективному обчисленні DFT (дискретного перетворення Фур'є) характерної функції.

$\phi(t) = \prod_j^n [(1-p_j)+p_je^{it}]$$i=\sqrt{-1}$

Алгоритм:

1. $z_j(k) = 1-p_j+p_j \text{cos}(\omega k)+ i p_j \text{sin}(\omega k)$$\omega=\frac{2\pi}{n+1}$ .
2. $x_k=\text{exp}\{\sum_j^n log(z_j(k))\}$$x_0=1$
3. $x_k$$k=1,\dots,[n/2]$$\bar{x}_k=x_{n+1-k}$
4. Застосовуйте FFT до вектора $\frac{1}{n+1}<x_0,x_1,\dots,x_n>$
5. Візьміть сукупну суму результату, щоб отримати CDF.

Алгоритм доступний в пакеті poibin R.

Такий підхід дає набагато кращі результати, ніж рекурсивні рецептури, оскільки вони, як правило, не мають стабільності чисельності.

$Y$$Z$$\sum_i p_i$

$$\sup_A |{\bf P}(Y\in A) - {\bf P}(Z\in A)| \le \min \left\{ 1, \frac{1}{\sum_i p_i} \right\} \sum_i p_i^2.$$ https://link.springer.com/article/10.1007%2Fs11202-008-0002 -3 ) та деякі інші відстані.

$|{\bf E}f(Y) - {\bf E}f(Z)|$$f$$A$

$${\bf P}(Y\in A) \le \frac{1}{(1-\max_i p_i)^2} {\bf P}(Z\in A).$$