Як створити не цілу кількість послідовних успіхів Бернуллі?

18

Подано:

Монета з невідомим ухилом (Голова). $p$
Строго позитивний реальний . $a > 0$

Проблема:

Утворіть випадкову змінну Бернуллі з ухилом . $p^{a}$

Хтось знає, як це зробити? Наприклад, коли є додатним цілим числом, тоді можна перевернути монету рази і побачити, чи всі результати були Heads: якщо вони потім видають "0", в іншому випадку видають "1". Складність полягає в тому, що не обов'язково є цілим числом. Крім того, якби я знав зміщення , я міг би просто побудувати ще одну монету з потрібним ухилом. $a$ $a$ $a$ $p$

sampling

— Педро А. Ортега
джерело

2

@gung: Я думаю, що потрібне - це алгоритм для генерування змінної Бернуллі, даної монети.

— Ніл Г

1

Я думаю , що справа тут, коли ви тільки тримати в середньому 1 з кожних голову , що вискакує і при , то дублюють кожної з головок в середньому на раз.

a > 1

$a>1$

a

$a$

a < 1

$a < 1$

1 / a

$1/a$

— Макрос

3

@Macro, ти міг би розширити ідею?

— Педро А. Ортега

1

Шановний Педро, (+1) за вашу посаду, це питання, яке робить резюме дуже бадьорим та стимулюючим для мене. Чи можу я запитати, в чому походження цього питання?

— кардинал

@cardinal: Ще раз дякую за вашу відповідь! Ця проблема є частиною вибірки для вирішення проблем стохастичного контролю, над якими я працюю. Причина, чому невідома, полягає в тому, що вона вимагатиме знання константи нормалізації (що в даному випадку є неприємною функцією розділення), але ми все одно можемо вибирати з неї вибірку відхилення. Btw, було б непогано посилатись на ім'я, а не лише на посилання на резюме ;-).

p

$p$

— Педро А. Ортега

19

Ми можемо вирішити це через пару «трюків» і трохи математики.

Ось основний алгоритм:

Створіть геометричну випадкову змінну з вірогідністю успіху . $p$
Результат цієї випадкової величини визначає відоме фіксоване значення . $f_n \in [0,1]$
Створіть випадкову змінну, використовуючи справедливі фліп-монети, згенеровані з блоково-парних фліп нашої монети. $\mathrm{Ber}(f_n)$ $\mathrm{Ber}(p)$
Отриманий результат буде для будь-якого , що все, що нам потрібно. $\mathrm{Ber}(p^a)$ $a \in (0,1)$

Щоб зробити речі більш засвоюваними, ми розбимо їх на частини.

Частина 1 : Без втрати загальності припустимо, що . $0 < a < 1$

Якщо , то ми можемо записати для деякого додатного цілого числа та деякого . Але для будь-яких двох незалежних Бернуллі ми маємо Ми можемо генерувати Бернуллі з нашої монети очевидним чином. Отже, нам потрібно лише потурбуватися про генерування коли . $a \geq 1$ $p^a = p^n p^b$ $n$ $0 \leq b < 1$

P (X_{1} = X_{2} = 1) = p_{1} p_{2} .

$\renewcommand{\Pr}{\mathbb P} \Pr(X_1 = X_2 = 1) = p_1 p_2 \>.$

p^{n}

$p^n$

B e r (p^{a})

$\mathrm{Ber}(p^a)$

a \in (0, 1)

$a \in (0,1)$

Частина 2 : Знайти, як генерувати довільну з справедливої монети. $\mathrm{Ber}(q)$

Існує стандартний спосіб зробити це. Розгорніть у своєму двійковому розширенні, а потім використовуйте нашу справедливу монету, щоб "відповідати" . Перша відповідність визначає, чи ми оголосимо про успіх ("голови") чи провал ("хвости"). Якщо а наш монетний фліп - це голови, голови, якщо а наш монетний фліп - хвости, оголосити хвости. В іншому випадку розгляньте наступну цифру проти нового перевертання монети. $q = 0.q_1 q_2 q_3 \ldots$ $q$ $q_n = 1$ $q_n = 0$

Частина 3 : Знайте, як генерувати справедливий відкид монети від несправедливих з невідомими зміщеннями.

Це робиться, припускаючи , перегортаючи монету парами. Якщо ми отримаємо , оголосимо голову; якщо ми отримаємо , оголосимо хвостик і в іншому випадку повторимо експеримент, поки не відбудеться один із двох вищезгаданих результатів. Вони однаково вірогідні, тому повинні мати ймовірність . $p \in (0,1)$ $HT$ $TH$ $1/2$

Частина 4 : Деякі математики. (Тейлор на допомогу.)

Розширюючи навколо , теорема Тейлора стверджує, що Зауважимо, що оскільки кожен доданок після першого є від'ємним, тож маємо де відомі апріорі . Звідси де , і $h(p) = p^a$ $p_0 = 1$

p^{a} = 1 - a (1 - p) - \frac{a (1 - a)}{2!} (1 - p)^{2} - \frac{a (1 - a) (2 - a)}{3!} (1 - p)^{3} \dots .

$p^a = 1 - a(1-p) - \frac{a(1-a)}{2!} (1-p)^2 - \frac{a(1-a)(2-a)}{3!} (1-p)^3 \cdots \>.$

0 < a < 1

$0 < a < 1$

p^{a} = 1 - \sum_{n = 1}^{\infty} b_{n} (1 - p)^{n},

$p^a = 1 - \sum_{n=1}^\infty b_n (1-p)^n \>,$

0 \leq b_{n} \leq 1

$0 \leq b_n \leq 1$

1 - p^{a} = \sum_{n = 1}^{\infty} b_{n} (1 - p)^{n} = \sum_{n = 1}^{\infty} b_{n} P (G \geq n) = \sum_{n = 1}^{\infty} f_{n} P (G = n) = E f (G),

$1 - p^a = \sum_{n=1}^{\infty} b_n (1-p)^n = \sum_{n=1}^\infty b_n \Pr(G \geq n) = \sum_{n=1}^\infty f_n \Pr(G = n) = \mathbb E f(G),$

G \sim G e o m (p)

$G \sim \mathrm{Geom}(p)$

f_{0} = 0

$f_0 = 0$

f_{n} = \sum_{k = 1}^{n} b_{k}

$f_n = \sum_{k=1}^n b_k$ для .

n \geq 1

$n \geq 1$

І ми вже знаємо, як використовувати нашу монету для створення Геометричної випадкової величини з вірогідністю успіху . $p$

5 твір : фокус Монте-Карло.

Нехай - дискретна випадкова величина, що приймає значення в з . Нехай . Тоді $X$ $[0,1]$ $\Pr(X = x_n) = p_n$ $U \mid X \sim \mathrm{Ber}(X)$

P (U = 1) = \sum_{n} x_{n} p_{n} .

$\Pr(U = 1) = \sum_n x_n p_n.$

Але, беручи і , тепер ми бачимо, як генерувати випадкову змінну і це еквівалентно генеруванню один. $p_n = p(1-p)^n$ $x_n = f_n$ $\mathrm{Ber}(1-p^a)$ $\mathrm{Ber}(p^a)$

— кардинальний
джерело

Як я можу процитувати вас (або ваше рішення)?

— Педро А. Ортега

2

@ Педро: Я думаю, ви можете натиснути на посилання "поділитися" внизу цієї відповіді. Це має бути стійкою ланкою. Math.SE має механізм цитування , який, здається, не ввімкнено на цьому веб-сайті, але ви, можливо, зможете його адаптувати.

— кардинал

1

Тепер це геніальна відповідь!

— Дзен

1

Я написав це на форумі загальних дискусій класу Coursera з аналітичної комбінаторики, оскільки це було приємним використанням силових серій, пов’язаних з деяким матеріалом, який там висвітлювався. class.coursera.org/introACpartI-001/forum/thread?thread_id=108

— Дуглас Заре

@Douglas: Дякую! Чи є публічно доступна версія цієї теми або мені потрібно зареєструватися для курсу, щоб побачити її? Ми з Педро обговорювали (по електронній пошті) можливі шляхи для включення цього підходу до деяких своїх досліджень.

— кардинал

6

Наступна відповідь нерозумна?

Якщо є незалежними а має розподіл , тоді буде приблизно розподілений як , коли . $X_1,\dots,X_n$ $\mathrm{Ber}(p)$ $Y_n$ $\mathrm{Ber}\left(\left(\sum_{i=1}^n X_i/n \right)^a\right)$ $Y_n$ $\mathrm{Ber}(p^a)$ $n\to\infty$

Отже, якщо ви не знаєте , але ви можете кинути цю монету багато разів, можна відібрати вибірку (приблизно) з випадкової величини. $p$ $\mathrm{Ber}(p^a)$

Приклад Rкоду:

n <- 1000000
p <- 1/3 # works for any 0 <= p <= 1
a <- 4
x <- rbinom(n, 1, p)
y <- rbinom(n, 1, mean(x)^a)
cat("p^a =", p^a, "\n")
cat("est =", mean(y))

Результати:

p^a = 0.01234568 
est = 0.012291

— Дзен
джерело

2

Мені подобається ця відповідь, але я підозрюю, що вона пропускає пункт питання, який я трактував як запит алгоритму, який генерується із запитуваного розподілу, не знаючи (або емпіричної інформації про ). Але проблема передбачає, що ви можете генерувати випадкові величини , тому це цілком розумна відповідь і зовсім не дурно! +1

p

$p$

p

$p$

B e r n o u l l i (p)

${\rm Bernoulli}(p)$

— Макрос

1

+1: Мені це подобається. Я припускаю, ви маєте на увазі, що поширюється…?

Y_{n}

$Y_n$

— Ніл G

Значно краще! Tks, @Neil G!

— Дзен

1

Це мило (+1), але ми можемо це зробити точно за майже напевно обмеженою кількістю фліп (і, в середньому, це число буде порівняно невеликим).

— кардинал

5

Наступний виклад цього питання та відповідь кардинала я розмістив на загальному дискусійному форумі поточного класу аналітичної комбінаторики на Coursera: "Застосування рядів потужності для побудови випадкової величини". Я публікую копію тут як вікі спільноти, щоб зробити це загальнодоступним та більш постійним доступним.

На stat.stackexchange.com з'явилось цікаве запитання та відповідь, пов’язаний із енергетичними серіями: "Як генерувати не цілу кількість послідовних успіхів Бернуллі?" Я перефразую питання і відповідь кардиналом.

Припустимо, у нас можлива несправедлива монета, яка є головами з вірогідністю , і додатне дійсне число . Як можна побудувати подію, ймовірність якої ? $p$ $\alpha$ $p^\alpha$

Якби було додатним цілим числом, ми могли б просто перевернути монету рази і нехай подія буде так, щоб усі кидки були головами. Однак, якщо не є цілим числом, скажімо , , то це не має сенсу, але ми можемо використовувати цю ідею , щоб знизити до випадку, коли . Якщо ми хочемо побудувати подію, ймовірність якої , ми беремо перетин незалежних подій, ймовірності яких та . $\alpha$ $\alpha$ $\alpha$ $1/2$ $0 \lt \alpha \lt 1$ $p^{3.5}$ $p^3$ $p^{0.5}$

Одне, що ми можемо зробити, - це побудувати подію з будь-якою відомою ймовірністю . Щоб зробити це, ми можемо побудувати потік бітів справедливим шляхом багаторазового гортати монету в два рази, читання , як і в , і ігноруючи і . Порівняємо цей потік із двійковим розширенням $p' \in [0,1]$ $HT$ $1$ $TH$ $0$ $HH$ $TT$ $p' = 0.a_1a_2a_3..._2$ . Подія , що перше розбіжність , де має ймовірність . Ми не знаємо , тому ми не можемо використовувати це безпосередньо, але це буде корисним інструментом. $a_i=1$ $p'$ $p^\alpha$

Основна ідея полягає в тому, що ми б хотіли використовувати ряд потужностей для де. Ми можемо побудувати події, ймовірності яких, перевернувши монетуразів і побачивши, чи всі вони хвости, і ми можемо створити подію з ймовірністю, порівнюючи двійкові цифриз справедливим бітовим потоком, як вище і перевірити, чине всікидки - всі хвости. $p^\alpha = (1-q)^\alpha = 1 - \alpha q - \frac{\alpha(1-\alpha)}{2} q^2 - \frac{\alpha (1-\alpha)(2-\alpha)}{3!}q^3 -...$ $p=1-q$ $q^n$ $n$ $p' q^n$ $p'$ $n$

Побудуйте геометричну випадкову змінну з параметром . Це кількість хвостів перед першою головою в нескінченній послідовності кидання монети. . (Деякі люди використовують визначення, яке відрізняється на ) $G$ $p$ $P(G=n) = (1-p)^np = q^n p$ $1$

Беручи під увагу послідовність Ми можемо виготовити : чи не Фліп монети до першого розділу, і якщо є хвости перед першою головкою, візьміть елемент послідовності індексу . Якщо кожен , ми можемо порівняти з рівномірною випадковою змінною в (побудованої як вище), щоб отримати подію з ймовірністю $t_0, t_1, t_2, ...$ $t_G$ $G$ $G$ $t_n \in [0,1]$ $t_G$ $[0,1]$ . $E[t_G] = \sum_n t_n P(G=n) = \sum_n t_n q^n p$

Це майже те, що нам потрібно. Ми хотіли б усунути цей щоб використовувати ряд потужностей для в . $p$ $p^\alpha$ $q$

1 = p + q p + q^{2} p + q^{3} p + . . .

$1 = p + qp + q^2p + q^3p + ...$

q^{n} = q^{n} p + q^{n + 1} p + q^{n + 2} p + . . .

$q^n = q^np + q^{n+1}p + q^{n+2}p + ...$

\begin{array}{rcl} \sum_{n} s_{n} q^{n} & = & \sum_{n} s_{n} (q^{n} p + q^{n + 1} p + q^{n + 2} p + . . .) \\ = & \sum_{n} (s_{0} + s_{1} + . . . + s_{n}) q^{n} p \end{array}

$\begin{eqnarray} \sum_n s_n q^n & = & \sum_n s_n (q^n p + q^{n+1}p + q^{n+2}p + ...) \newline & = & \sum_n (s_0 + s_1 + ... + s_n) q^n p \end{eqnarray}$

Розглянемо . Нехай- сума коефіцієнтів віддо. Тоді. Коженоскільки коефіцієнти позитивні і дорівнюють, тому ми можемо побудувати подію з вірогідністю $1-p^\alpha = \alpha q + \frac{\alpha(1-\alpha)}{2} q^2 + ...$ $t_n$ $q$ $q^n$ $1-p^\alpha = \sum_n t_n q^n p$ $t_n\in [0,1]$ $1-0^\alpha = 1$ $1-p^\alpha$ шляхом порівняння справедливої бітового потоку з двійкового розкладу . Комплемент має ймовірність міру необхідності. $t_G$ $p^\alpha$

Знову ж таки, аргумент пояснюється кардинальним.

— Дуглас Заре
джерело

1

(+1) Дякуємо за те, що помилилися, щоб опублікувати це. Відмінності в експозиції, хоча і відносно незначні, допомагають зробити підхід більш зрозумілим.

— кардинал

4

Дуже повна відповідь кардинала та подальші внески надихнули на наступне зауваження / варіант.

$q:=1-p$ $X_n$ $q$ $M_n := \max(X_1,\,X_2,\,\dots, X_n)$ $q^n$ $n$ $N \geq 1$ $M_N$

P r {M_{N} = 0} = \sum_{n = 1}^{\infty} P r {M_{N} = 0 | N = n} P r {N = n} = \sum_{n = 1}^{\infty} P r {N = n} q^{n} .

$\mathrm{Pr}\{M_N =0\} = \sum_{n=1}^\infty \mathrm{Pr}\{M_N =0 \,\vert\, N =n\} \mathrm{Pr}\{N =n\} = \sum_{n=1}^\infty \mathrm{Pr}\{N =n\} \, q^n.$

0 < a < 1

$0 < a < 1$

P r {N = n} = b_{n}

$\mathrm{Pr}\{N =n\} =b_n$

P r {M_{N} = 0} = 1 - p^{a}

$\mathrm{Pr}\{M_N =0\} = 1- p^a$

1 - M_{N}

$1-M_N$

B e r (p^{a})

$\mathrm{Ber}(p^a)$

b_{n}

$b_n$

b_{n} ⩾ 0

$b_n \geqslant 0$

1

$1$

$N$ $a$ $0 < a < 1$

P r {N = n} = \frac{a}{n} \prod_{k = 1}^{n - 1} (1 - a / k) (n \geq 1) .

$\mathrm{Pr}\{N =n\} = \frac{a}{n}\,\prod_{k=1}^{n-1}\left(1 - a/k\right) \qquad (n \geq 1).$

n b_{n} \sim c / n^{a}

$n \,b_n \sim c/n^a$

c = - 1 / Γ (- a) > 0

$c = -1/\Gamma(-a) >0$

$M_N$ $N$ $X_k$ $\leq N$ $X_k$ $1$ $X_k$

— Ів
джерело

X_{k}

$X_k$

θ

$\theta$

(0 < θ < 1)

$(0 < \theta < 1)$

M_{n}

$M_n$

q^{n θ}

$q^{n\theta}$

q^{n}

$q^n$

n θ = a

$n\theta = a$

a > 0

$a>0$

X_{n}

$X_n$

X_{n}^{⋆}

$X_n^\star$

θ

$\theta$ standard Frechet'' by

b_{n} q^{n}

$b_n q^n$

B e r (p)

$\mathrm{Ber}(p)$

N

$N$

— кардинал

(0, 1)

$(0,1)$

f_{n} = \sum_{i = 1}^{n} b_{i}

$f_n = \sum_{i=1}^n b_i$

N

$N$

n b_{n} \sim c n^{- (1 + a)}

$n b_n \sim c n^{-(1+a)}$

f_{n} = \sum_{i = 1}^{n} b_{i}

$f_n = \sum_{i=1}^n b_i$

B e r (p)

$\mathrm{Ber}(p)$

1

c

$c$

- 1 / Γ (- a)

$-1/\Gamma(-a)$

n

$n$

Γ (z)

$\Gamma(z)$

z := - a

$z:=-a$

\prod_{k = 1}^{n - 1}

$\prod_{k=1}^{n-1}$

— Ів

b_{n}

$b_n$

n b_{n}

$n b_n$