Оцінка ймовірності в процесі Бернуллі шляхом вибірки до 10 відмов: це упередженість?

Припустимо, у нас є процес Бернуллі з ймовірністю відмови $q$ (який буде малим, скажімо, $q \leq 0.01$ ), з якого ми робимо вибірку, поки не зіткнемся з $10$ відмов. Таким чином , ми оцінюємо ймовірність відмови , як д : = 10 / N , де N являє собою число вибірок.$\hat{q}:=10/N$$N$

Питання : Чи є чи д зміщена оцінка по д ? І якщо так, чи є спосіб виправити це?$\hat{q}$$q$

Я стурбований тим, що наполягати на тому, що останній зразок є невдалим зміщенням оцінки.

Це правда , що д є упередженою оцінкою ц в тому сенсі , що E ( Q ) ≠ Q , але ви не обов'язково повинні дозволити цьому стримувати вас. Цей точний сценарій може бути використаний як критика проти ідеї про те, що ми завжди повинні використовувати неупереджені оцінки, оскільки тут упередженість є більш артефактом конкретного експерименту, який ми робимо. Дані виглядають так само, як і коли б ми вибрали кількість вибірок заздалегідь, то чому б наші висновки мінялися?$\hat{q}$$q$$\text{E}(\hat{q}) \neq q$

Цікаво, що якби ви збирали дані таким чином, а потім записували ймовірнісну функцію як в біноміальній (фіксований розмір вибірки), так і в негативній біноміальній моделі, ви виявили б, що дві пропорційні одна одній. Це означає , що д є лише звичайною оцінкою максимальної правдоподібності при негативній біноміальної моделі, яка, звичайно, цілком прийнятна оцінка.$\hat{q}$

Не наполягаючи на тому, що останній зразок є відмовою, яка зміщує оцінку, вона приймає зворотну $N$

Так у вашому прикладі, але E[$\mathbb{E}\left[\frac{N}{10}\right] =\frac{1}{q}$. Це близьке до порівняння середнього арифметичного та гармонічного середнього$\mathbb{E}\left[\frac{10}{N}\right] \not = q$

Погана новина полягає в тому, що зміщення може зростати, коли стає менше, хоча не набагато, коли q вже малий. Хороша новина полягає в тому, що зміщення зменшується в міру збільшення необхідної кількості відмов. Здається, що якщо вам потрібні f збої, то зміщення обмежено вище мультиплікативним фактором $q$$q$$f$ для малогоq; вам не хочеться такого підходу, коли ви зупиняєтесь після першої відмови $\frac{f}{f-1}$$q$

Зупинившись після відмов, при q = 0,01 ви отримаєте E [ $10$$q=0.01$але E[$\mathbb{E}\left[\frac{N}{10}\right] = 100$, тоді як приq=0,001ви отримаєтеE[$\mathbb{E}\left[\frac{10}{N}\right] \approx 0.011097$$q=0.001$але E[$\mathbb{E}\left[\frac{N}{10}\right] = 1000$. Зсув приблизно$\mathbb{E}\left[\frac{10}{N}\right] \approx 0.001111$ мультиплікативний коефіцієнт $\frac{10}{9}$

$\hat{q}$$k=10$$q_0 = 0.02$

n_replications <- 10000
k <- 10
failure_prob <- 0.02
n_trials <- k + rnbinom(n_replications, size=k, prob=failure_prob)
all(n_trials >= k)  # Sanity check, cannot have 10 failures in < 10 trials

estimated_failure_probability <- k / n_trials
histogram_breaks <- seq(0, max(estimated_failure_probability) + 0.001, 0.001)
## png("estimated_failure_probability.png")
hist(estimated_failure_probability, breaks=histogram_breaks)
abline(v=failure_prob, col="red", lty=2, lwd=2)  # True failure probability in red
## dev.off()

mean(estimated_failure_probability)  # Around 0.022
sd(estimated_failure_probability)
t.test(x=estimated_failure_probability, mu=failure_prob)  # Interval around [0.0220, 0.0223]

$\mathbb{E}\left[ \hat{q}\right] \approx 0.022$$\hat{q}$