Взаємозв'язок між біноміальними та бета-розподілами

27

Я більше програміст, ніж статистик, тому сподіваюся, що це питання не надто наївне.

Це трапляється при вибірковому виконанні програм у випадкові часи. Якщо я беру N = 10 вибірки випадкового часу стану програми, я можу побачити, як функція Foo виконується, наприклад, I = 3 з цих вибірок. Мене цікавить, що це говорить мені про фактичну частку часу F, який Foo виконує.

Я розумію, що я біноміально розподілений із середнім F * N. Я також знаю, що, враховуючи I і N, F слід за бета-розподілом. Насправді я перевірив програмою зв’язок між цими двома дистрибутивами, який є

cdfBeta(I, N-I+1, F) + cdfBinomial(N, F, I-1) = 1

Проблема в тому, що я не маю інтуїтивного почуття щодо відносин. Я не можу "уявити", чому це працює.

РЕДАКТУВАННЯ: Усі відповіді були складними, особливо @ whuber's, який мені все-таки потрібно подбати, але приведення в порядок статистики було дуже корисним. Тим не менш я зрозумів, що мені слід було б задати більш основне питання: Враховуючи I і N, що таке розподіл для F? Усі вказали, що це Бета, яку я знав. Зрештою я зрозумів з Вікіпедії ( попередньо кон'югат ), що, здається, є Beta(I+1, N-I+1). Ознайомившись із програмою, вона виявляється правильною відповіддю. Отже, я хотів би дізнатися, чи не помиляюся. І я все ще плутаю стосунки між двома cdfs, показаними вище, чому вони дорівнюють 1, і якщо вони навіть мають щось спільне з тим, що я насправді хотів знати.

binomial beta-binomial beta-distribution

— Майк Данлаве
джерело

Якщо "те, що ви насправді хотіли знати", - це "фактична частка часу, яку Foo виконує", то ви запитуєте про довірчий інтервал двочленів або достовірний інтервал (байєсівський) двочлен.

— whuber

@whuber: Добре, що я використовував метод налаштування продуктивності на випадкових паузах протягом 3-х десятиліть, і деякі інші люди його також виявили. Я говорив людям, що якщо якась умова є справжньою для двох або більше зразків випадкового часу, то її видалення дозволить заощадити добру частину часу. ЯК хороша частка - це те, про що я намагався бути явним, припускаючи, що ми не знаємо байєсівського попередника. Ось загальне полум'я: stackoverflow.com/questions/375913/… та stackoverflow.com/questions/1777556/alternatives-to-gprof/…

— Майк Данлаве

1

Хороша ідея. Статистичне припущення полягає в тому, що переривання не залежить від стану виконання, що є розумною гіпотезою. Біном довірчий інтервал є хорошим інструментом для використання для подання невизначеності. (Це також може бути відкривачем очей: у вашій ситуації 3/10 симетричний двосторонній 95% ІС для справжньої ймовірності становить [6,7%, 65,2%]. У ситуації 2/10 інтервал становить [2,5 %, 55,6%]. Це широкі діапазони! Навіть при 2/3 нижня межа все ще менше 10%. Урок полягає в тому, що щось досить рідкісне може трапитися вдвічі.)

— помах

@whuber: Дякую Ти правий. Щось більш корисне - очікуване значення. Що стосується пріорів, я зазначаю, що якщо ви бачите щось лише один раз, це не дуже розказує вам, якщо ви не знаєте, що програма знаходиться в нескінченному (або дуже довгому) циклі.

— Майк Данлаве

Я думаю, що всі відповіді та коментарі, безумовно, були освічуючими та правильними, але ніхто не торкався цікавої рівності, яку @MikeDunlavey виклав у своєму первісному дописі. Цю рівність можна знайти на Beta wikipedia en.wikipedia.org/wiki/Beta_function#Incomplete_beta_function, але не описано, чому це так, його щойно зазначено як властивість.

— bdeonovic

27

Розглянемо статистику замовлень з незалежних малюнків з рівномірного розподілу. Оскільки статистика замовлень має бета-розподіли , шанс, що не перевищує , задається інтегралом Beta $x_{[0]} \le x_{[1]} \le \cdots \le x_{[n]}$ $n+1$ $x_{[k]}$ $p$

Pr [x_{[k]} \leq p] = \frac{1}{B (k + 1, n - k + 1)} \int_{0}^{p} x^{k} (1 - x)^{n - k} d x .

$\Pr[x_{[k]} \le p] = \frac{1}{B(k+1, n-k+1)} \int_0^p{x^k(1-x)^{n-k}dx}.$

(Чому це так? Ось не сувора, але пам'ятна демонстрація. Шанс, що лежить між і є ймовірність, що з рівномірних значень, з них лежить між і , принаймні один з них лежить між і , а решта лежить між та Для першого порядку в нескінченному нам потрібно розглянути лише випадок, коли саме одне значення (а саме сама) лежить між і і тому $x_{[k]}$ $p$ $p + dp$ $n+1$ $k$ $0$ $p$ $p$ $p + dp$ $p + dp$ $1$ $dp$ $x_{[k]}$ $p$ $p + dp$ $n - k$ значення перевищують . Оскільки всі значення незалежні та рівномірні, ця ймовірність пропорційна . Для першого порядку в це дорівнює , саме інтеграду розподілу Beta. Термін можна обчислити безпосередньо з цього аргументу як мультиноміальний коефіцієнт або покласти побічно як нормалізуюча константа інтеграла.) $p + dp$ $p^k (dp) (1 - p - dp)^{n-k}$ $dp$ $p^k(1-p)^{n-k}dp$ $\frac{1}{B(k+1, n-k+1)}$ ${n+1}\choose{k,1, n-k}$

За визначенням, подія полягає в тому, що значення не перевищує . Що рівно, щонайменше значень не перевищує : це просте (і я сподіваюся очевидне) твердження забезпечує інтуїцію, яку ви шукаєте. Ймовірність еквівалентного твердження задається біноміальним розподілом, $x_{[k]} \le p$ $k+1^\text{st}$ $p$ $k+1$ $p$

Пр [принаймні к + 1 з х_{i} \leq p] = \sum_{j = к + 1}^{н + 1} (\binom{н + 1}{j}) p^{j} (1 - p)^{н + 1 - j} .

$\Pr[\text{at least }k+1\text{ of the }x_i \le p] = \sum_{j=k+1}^{n+1}{{n+1}\choose{j}} p^j (1-p)^{n+1-j}.$

Підводячи підсумок , бета-інтеграл розбиває обчислення події на ряд обчислень: знаходження принаймні значень у діапазоні , імовірність якого ми зазвичай обчислимо з двочленним cdf, розбивається на взаємно виняткові випадки, коли саме значення знаходяться в діапазоні і 1 значення знаходиться в діапазоні для всіх можливих , , а - нескінченно мала довжина. Підсумовуючи всі такі "вікна" - тобто інтегруючи - потрібно дати таку ж ймовірність, що і біноміальний cdf. $k+1$ $[0, p]$ $k$ $[0, x]$ $[x, x+dx]$ $x$ $0 \le x \lt p$ $dx$ $[x, x+dx]$

alt текст

— дзижчати
джерело

Я ціную зусилля. Мені доведеться по-справжньому вивчити це, бо це не моя "рідна мова". Також я бачу багато знаків долара та форматування матеріалів. Чи є щось, про що я не знаю, що робить це схожим на справжню математику?

— Майк Данлаве

Що сталося? Раптом математика виявилася, і введення сюди стало справді повільним.

— Майк Данлаве

@Mike Див. Meta.stats.stackexchange.com/q/218/919 .

— whuber

Я переглянув питання, якщо ви хочете поглянути. Спасибі.

— Майк Данлаве

1

Трохи пізно, але я нарешті встиг сісти і заново створити ваш аргумент. Ключовим був "мультиноміальний коефіцієнт". Я спробував розібратися в цьому, використовуючи звичайні старі двочленні коефіцієнти, і я все підготував. Ще раз дякую за гарну відповідь.

— Майк Данлаве

12

Подивіться на pdf Binomial як на функцію : та pdf Beta як функцію : Напевно ви можете бачити що з відповідним (цілим) вибором для і вони однакові. Наскільки я можу сказати, у цьому відношенні все є: спосіб входить у двочленний pdf просто називається бета-розподілом. $x$

f (х) = (\binom{н}{х}) p^{х} (1 - p)^{н - х}

$f(x) = {n\choose{x}}p^{x}(1-p)^{n-x}$

p

$p$

г (p) = \frac{Γ (а + б)}{Γ (а) Γ (б)} p^{а - 1} (1 - p)^{б - 1}

$g(p)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}p^{a-1}(1-p)^{b-1}$

a

$a$

b

$b$

p

$p$

— Аніко
джерело

Я знаю, що вони виглядають майже однаково, але якщо я підміняю y на nx, і якщо я беру Beta pdf і замінюю x на a-1 і y на b-1, я отримую додатковий коефіцієнт (x + y + 1), або n + 1. тобто (x + y + 1)! / x! / y! * p ^ x * q ^ y. Цього, здається, достатньо, щоб відкинути мене.

— Майк Данлаве

1

Можливо, хтось задзвенить з повною реакцією, але в "інтуїтивному" поясненні ми завжди можемо відмовитись від постійних констант (наприклад, ), які не залежать від змінних, що цікавлять ( і ), але зобов'язані змусити pdf додати / інтегрувати до 1. Не соромтеся замінювати знаки "рівності" знаками "пропорційні".

n + 1

$n+1$

x

$x$

p

$p$

— Аніко

Влучне зауваження. Я думаю, я наближаюся до розуміння. Я все ще намагаюся сказати, що х говорить вам про розподіл p, і чому ці два CDF дорівнюють 1.

— Майк Данлаве

1

Я по-іншому сприймаю "інтуїтивні" пояснення. У деяких випадках ми не надто дбаємо про константи, але в цьому випадку суть справи полягає в тому, щоб зрозуміти, чому з'являється n + 1, а не n. Якщо ви цього не розумієте, то ваша "інтуїція" неправильна.

— whuber

Я переглянув питання, якщо ви хочете поглянути. Спасибі.

— Майк Данлаве

5

Як ви зазначали, бета-розподіл описує розподіл параметра пробної ймовірності , тоді як біноміальний розподіл описує розподіл параметра результату . Переписуючи своє запитання, про що ви питали, чому Тобто ймовірність того, що спостереження плюс одне більше, ніж очікування спостереження, така ж, як ймовірність того, що спостереження плюс один більше, ніж очікування спостереження. $F$ $I$

П (Ж \leq \frac{i + 1}{н}) + П (Я \leq f н - 1) = 1

$P(F \le \frac {i+1} n)+P(I \le fn-1)=1$

П (Ж н \leq i + 1) + П (Я + 1 \leq f н) = 1

$P(Fn \le i+1)+P(I+1 \le fn)=1$

П (Ж н \leq i + 1) = П (f н < Я + 1)

$P(Fn \le i+1)=P(fn<I+1)$

Я визнаю, що це може не допомогти зрозуміти оригінальну постановку проблеми, але, можливо, це допоможе принаймні побачити, як два розподіли використовують одну і ту ж основну модель повторних випробувань Бернуллі для опису поведінки різних параметрів.

— ssqu
джерело

Я вдячний за те, що ти став на це. Усі відповіді допомагають мені подумати над питанням і, можливо, краще зрозуміти, що я прошу.

— Майк Данлаве

Я переглянув питання, якщо ви хочете поглянути. Спасибі.

— Майк Данлаве

1

Щодо перегляду: Так, , якщо ваші інтервали вибірки досить довгі, що кожне спостереження є незалежним та однаково розподіленим. Зауважте, що якщо ви хочете бути байєсівськими щодо цього і вказати неоднорідний попередній розподіл щодо того, на який ви очікуєте фактичну пропорцію, ви можете додати щось інше до обох параметрів.

F \sim B e t a (I + 1, N - I + 1)

$F\sim Beta(I+1,N-I+1)$

— ssqu

@sesqu, чи може ваша відповідь якимось чином пов’язана з моїм запитанням тут: stats.stackexchange.com/questions/147978/… ? Буду вдячний за ваші думки з цього приводу.

— Vicent

1

На землі Байєса розподіл Beta є кон'югатом, що передує p параметру біноміального розподілу.

— Ян Фіске
джерело

2

Так, але чому це так?

— vonjd

1

Не можу коментувати інші відповіді, тому мені доведеться створити власну відповідь.

Posterior = C * Ймовірність * Prior (C - константа, що робить "Posterior" інтегрованою до 1)

Дана модель, яка використовує біноміальний розподіл для вірогідності, а бета-розподіл для Prior. Продукт двох, що генерує Posterior, також є бета-розподілом. Оскільки Prior і Posterior - це бета-версія, і тому вони є сполученими розподілами . пріоритет (бета-версією) називається кон'югатом, попереднім для імовірності (двочлен). Наприклад, якщо ви помножите бета-версію на нормальну, то Posterior вже не є бета-версією. Підсумовуючи, Бета та Біноміал - це два розподіли, які часто використовуються в байєсівському висновку. Бета - це кон'югатний пріоритет двочлена, але два розподіли не є підмножиною або надмножиною іншого.

Ключова ідея Байєсового висновку полягає в тому, що ми розглядаємо параметр p як випадкову величину, яка варіюється від [0,1], що суперечить частостістському підходу до висновку, коли ми розглядаємо параметр p як фіксований. Якщо ви уважно подивитеся на властивості розподілу бета-версії, ви побачите, що її середнє значення та режим визначаються виключно символами та не стосуються параметра p $\alpha$ $\beta$ . Це в поєднанні зі своєю гнучкістю є причиною того, що Beta зазвичай використовується як пріоритет.

— Джон Лі
джерело

1

Короткий зміст: Часто говорять, що бета-розподіл - це розподіл на дистрибутивах! Але що таке засоби?

Це по суті означає, що ви можете виправити і подумати як функцію . Наведений нижче розрахунок - це те, що значення збільшується від до коли ви налаштовуєте від до . Коефіцієнт, що збільшується на кожному є рівно на цьому . $n,k$ $\mathbb P[Bin(n,p)\geqslant k]$ $p$ $\mathbb P[Bin(n,p)\geqslant k]$ $0$ $1$ $p$ $0$ $1$ $p$ $\beta(k,n-k+1)$ $p$

Нехай позначає біноміальну випадкову величину з вибірками та ймовірністю успіху . Використовуючи основну алгебру у нас $Bin(n,p)$ $n$ $p$

\frac{г}{г p} П [Б i н (н, p) = i] = н (П [Б i н (н - 1, p) = i - 1] - П [Б i н (н - 1, p) = i]) .

$\frac d{dp}\mathbb P[Bin(n,p)=i]=n\Big(\mathbb P[Bin(n-1,p)=i-1]-\mathbb P[Bin(n-1,p)=i]\Big).$

У нього також є хороший комбінаторний доказ, подумайте про це як про вправу!

Отже, у нас є:

\frac{г}{г p} П [Б i н (н, p) ⩾ к] = \frac{г}{г p} \sum_{i = к}^{н} П [Б i н (н, p) = i] = н (\sum_{i = к}^{н} П [Б i н (н - 1, p) = i - 1] - П [Б i н (н - 1, p) = i])

$\frac d{dp}\mathbb P[Bin(n,p)\geqslant k]=\frac d{dp}\sum_{i=k}^{n}\mathbb P[Bin(n,p)=i]=n\Big(\sum_{i=k}^{n}\mathbb P[Bin(n-1,p)=i-1]-\mathbb P[Bin(n-1,p)=i]\Big)$ яка є телескопічною серією і може бути спрощена як

\frac{г}{г p} П [Б i н (н, p) ⩾ к] = н П [Б i н (н - 1, p) = к - 1] = \frac{н!}{(к - 1)! (н - к)!} p^{к - 1} (1 - p)^{н - к} = β (к, н - к + 1) .

$\frac d{dp}\mathbb P[Bin(n,p)\geqslant k]=n\mathbb P[Bin(n-1,p)=k-1]=\frac{n!}{(k-1)!(n-k)!}p^{k-1}(1-p)^{n-k}=\beta(k,n-k+1).$

Зауваження Щоб побачити інтерактивну версію сюжету, подивіться на це . Ви можете завантажити ноутбук або просто скористатися посиланням "Біндер".

— MR_BD
джерело