Звідки бета-розподіл?

Як я впевнений, всі тут уже знають, PDF-файл дистрибутива Beta $X \sim B(a,b)$ надає

$f(x) = \frac{1}{B(a,b)}x^{a-1}(1-x)^{b-1}$

Я полював всюди за поясненнями про походження цієї формули, але не можу її знайти. Кожна стаття, яку я знайшов у розповсюдженні бета-версії, начебто дає цю формулу, ілюструє кілька її форм, а потім переходимо до прямого обговорення її моментів і далі.

Мені не подобається використовувати математичні формули, я не можу отримати та пояснити. Для інших дистрибутивів (наприклад, гамма або біномалія) я можу навчитися і використовувати. Але я не можу знайти нічого подібного для дистрибутива Beta.

Отже, моє запитання: яке джерело цієї формули? Як воно може бути виведене з перших принципів у будь-якому контексті, в якому він був спочатку розроблений?

[Для уточнення я не запитую про те, як використовувати розподіл Beta в статистиці Баєса, або що це означає на практиці інтуїтивно (я читав приклад бейсболу). Я просто хочу знати, як отримати PDF. У попередньому запитанні було задано щось подібне, але воно було позначене (я думаю, неправильно) як дублікат іншого питання, яке не стосувалося проблеми, тому я досі не змогла знайти тут жодної допомоги.]

EDIT 2017-05-06: Дякую всім за запитання. Я думаю, що хороше пояснення того, чого я хочу, випливає з однієї з відповідей, які я отримав, коли я запитав цього у деяких своїх інструкторів курсу:

"Я думаю, що люди можуть вивести нормальну щільність як межу суми з n речей, розділених на sqrt (n), і ви можете отримати щільність пуассона з ідеї подій, що відбуваються з постійною швидкістю. Так само, щоб отримати бета-щільність, ви повинні мати якесь уявлення про те, що робить щось бета-розподілом незалежно від щільності та, логічно до цього ".

Тож ідея "ab initio" у коментарях, мабуть, найближча до того, що я шукаю. Я не математик, але відчуваю себе найзручніше, використовуючи математику, яку можу отримати. Якщо витоки для мене занадто розвинені, щоб було вдається, так і нехай, але якщо ні, то я хотів би їх зрозуміти.

— Буде Бредшоу
джерело

Похідне від чого? Якщо біноміально-кон'югат-попередній підхід неприйнятний, тут є кілька альтернативних варіантів (наприклад, статистика порядку однорідної випадкової величини, пропорції змінних Gamma).

— GeoMatt22

Зауважте: вся історія розповсюдження Beta представлена на неймовірній сторінці Вікіпедії в цьому дистрибутиві, де міститься приблизно кожна можлива деталь!

— Сіань

Попереднє питання був відзначений як дублікат іншого після того , як OP пояснив , що вони були після того, як в коментарі. Тубер поставив те саме питання, що і @ Geomatt22: " Виведення означає логічний зв'язок від чогось, що передбачається, до чогось встановленого. Що ви хочете припустити ?"

— Scortchi

@Aksakal, але тоді питання занадто широке - воно може бути виведене всілякими способами; якщо ви маєте рацію, я закрию її як занадто широку, поки питання не звузиться достатньо, щоб бути чимось іншим, ніж мішок можливих відповідей

— Glen_b -Встановити Моніку

Дещо коротке обговорення невеликого історичного контексту є тут (принаймні, з точки зору його відношення до неповної бета-функції). Він має зв'язки з гамма-розповсюдженням, а також багато, багато інших розповсюдження, крім того, виникає цілком розумно різними способами; як вказує Сіань, це також має історичне походження в системі Пірсона . Яку відповідь ви шукаєте тут? Що дано / що потрібно отримати?

— Glen_b -Встановіть Моніку

Відповіді:

Як колишній фізик, я бачу, як це можна було отримати. Ось як діють фізики:

коли вони стикаються з кінцевим інтегралом позитивної функції, такою як бета-функція : вони інстинктивно визначають щільність:

B (x, y) = \int_{0}^{1} t^{x - 1} (1 - t)^{y - 1} d t

$B(x,y) = \int_0^1t^{x-1}(1-t)^{y-1}\,dt$

де

f (s | x, y) = \frac{s^{x - 1} (1 - s)^{y - 1}}{\int_{0}^{1} t^{x - 1} (1 - t)^{y - 1} d t} = \frac{s^{x - 1} (1 - s)^{y - 1}}{B (x, y)},

$f(s|x,y)=\frac{s^{x-1}(1-s)^{y-1}}{\int_0^1t^{x-1}(1-t)^{y-1}\,dt}=\frac{s^{x-1}(1-s)^{y-1}}{B(x,y)},$

0 < s < 1

$0<s<1$

Вони роблять це на всілякі інтеграли весь час так часто, що це відбувається рефлекторно, навіть не думаючи. Вони називають цю процедуру «нормалізацією» або подібними назвами. Зауважте, як за визначенням тривіально щільність має всі властивості, які ви хочете мати, такі як завжди позитивні та додають до однієї.

$f(t)$

ОНОВЛЕННЯ

@ whuber запитує, що ж такого особливого в бета-розподілі, тоді як вищенаведена логіка може бути застосована до нескінченної кількості відповідних інтегралів (як я зазначив у своїй відповіді вище)?

Особлива частина походить від біноміального розподілу . Я напишу його PDF, використовуючи подібні позначення до моєї бета-версії, а не звичайну позначку для параметрів та змінних:

f^{'} (x, y | s) = (\binom{y + x}{x}) s^{x} (1 - s)^{y}

$f'(x,y|s) = \binom {y+x} x s^x(1-s)^{y}$

Тут - кількість успіхів і невдач, - ймовірність успіху. Ви можете бачити, як це дуже схоже на чисельник у дистрибутиві Beta. Насправді, якщо ви шукаєте пріоритет для розподілу біномів, це буде бета-розподіл. Це не дивно ще й тому, що домен Beta дорівнює 0 до 1, і це те, що ви робите в теоремі Байєса: інтегруйте через параметр , яка є ймовірністю успіху в цьому випадку, як показано нижче: тут - ймовірність (щільність) ймовірності успіху попередні налаштування бета-версії та $x,y$ $s$ $s$

\hat{f} (x | X) = \frac{f^{'} (X | s) f (s)}{\int_{0}^{1} f^{'} (X | s) f (s) d s},

$\hat f(x|X)=\frac{f'(X|s)f(s)}{\int_0^1 f'(X|s)f(s)ds},$

f (s)

$f(s)$

f^{'} (X | s)

$f'(X|s)$ - щільність цього набору даних (тобто спостережуваний успіх і невдачі) з урахуванням ймовірності .

s

$s$

— Аксакал
джерело

@ Xi'an OP, схоже, не цікавиться історією.

— Аксакал

"Пояснення джерел цієї формули ... в якому б контексті вона не була розроблена" для мене звучить як історія :-).

— whuber

Я вважаю, що можна зацікавитись і історією, і першими принципами. :-) Хоча ваша відповідь математично правильна, вона, на жаль, є занадто загальною: можна скласти щільність будь-якої негативної функції з кінцевим інтегралом. Що ж тоді такого особливого у цій конкретній родині розповсюджень? Як такий, ваш підхід, здається, не задовольняє жодної точки зору.

— whuber

@WillBradshaw, так. Зазвичай ми розглядаємо біноміальне розподіл як функцію кількості відмов (або успіхів), враховуючи ймовірність та кількість випробувань як параметри. Таким чином, це дискретний розподіл . Однак, якщо ви дивитесь на це як на функцію ймовірностей, враховуючи кількість успіхів і збоїв як параметрів, то після безоплатного перетворення його масштаб стає бета-розподілом, неперервний розподіл, btw.

— Аксакал

Стаття у Вікіпедії про розповсюдження бета-версії простежує його до Карла Пірсона, саме так, як запропонував @ Xi'an. Стіглер у своїй "Історії статистики: Вимірювання невизначеності до 1900 року" дає короткий виклад виведення Пірсона, використовуючи сучасні позначення.

— whuber

Томас Байєс (1763) отримав розподіл Beta [не використовуючи цю назву] як перший приклад заднього розподілу , передбачивши роботу Леонарда Ейлера (1766) над інтегралом Beta, на який Glen_b вказав кілька років, але інтеграл також з'являється в Ейлер (1729 або 1738) [Opera Omnia, I14, 1 {24] як спосіб узагальнити факторіальну функцію саме тому нормалізуюча бета-константа також називається функцією Ейлера . Девіс $-$ $B(a,b)$ $-$ згадує Уолліса (1616-1703), Ньютона (1642-1726) та Стірлінга (1692-1770), який розглядав особливі випадки інтеграла ще раніше. Карл Пірсон (1895) перший каталог цього сімейства розподілів як Пірсон I типу .

Хоча це історично не було в такому порядку, інтуїтивно зрозумілий запис у розподілі Beta здійснюється через розподіл Фішера , що відповідає розподілу співвідношення де я навмисно використовував звичайні позначення для оцінювачів дисперсії, так як це розподіл з'явився і був вмотивований для перевірки рівності двох варіацій. Тоді тоді як, навпаки, якщо , то Знаходження густини $F(p,q)$

ϱ = {\hat{σ}}_{1}^{2} / {\hat{σ}}_{2}^{2} p {\hat{σ}}_{1}^{2} \sim χ_{p}^{2} q {\hat{σ}}_{1}^{2} \sim χ_{q}^{2}

$\varrho=\hat\sigma^2_1\big/\hat\sigma_2^2\qquad p\hat\sigma_1^2\sim\chi^2_p\quad q\hat\sigma_1^2\sim\chi^2_q$

\frac{p ϱ}{q + p ϱ} \sim B (p / 2, q / 2)

$\frac{p\varrho}{q+p\varrho}\sim B(p/2,q/2)$

ω \sim B (a, b)

$\omega\sim B(a,b)$

\frac{ω / a}{(1 - ω) / b} \sim F (2 a, 2 b)

$\dfrac{\omega/a}{(1-\omega)/b}\sim F(2a,2b)$

B (a, b)

$B(a,b)$ таким чином, розподіл - це зміна етапу змінної: починаючи з щільності розподілу , і зважаючи на зміну змінної який перетворює в якобійський призводить до щільності перетворення [де всі константи нормалізації отримуються шляхом накладення інтеграції на щільність до одиниці.

F (p, q)

$F(p,q)$

f_{p, q} (x) \propto {p x / q}^{p / 2 - 1} (1 + p x / q)^{- (p + q) / 2}

$f_{p,q}(x) \propto \{px/q\}^{p/2-1}(1+px/q)^{-(p+q)/2}$

y = \frac{{p x / q}}{{1 + p x / q}} y \in (0, 1)

$y=\frac{\{px/q\}}{\{1+px/q\}}\quad y\in(0,1)$

x = \frac{q y}{p (1 - y)}

$x=\frac{qy}{p(1-y)}$

\frac{d x}{d y} = \frac{q}{p (1 - y)} + \frac{q y}{p (1 - y)^{2}} = \frac{p}{q (1 - y)^{2}}

$\frac{\text{d}x}{\text{d}y}=\frac{q}{p(1-y)}+\frac{qy}{p(1-y)^2}=\frac{p}{q(1-y)^2}$

g (y) \propto y^{p / 2 - 1} (1 - y)^{q / 2 + 1} (1 - y)^{- 2} = y^{p / 2 - 1} (1 - y)^{q / 2 + 1}

$g(y)\propto y^{p/2-1}(1-y)^{q/2+1}(1-y)^{-2}=y^{p/2-1}(1-y)^{q/2+1}$

— Сіань
джерело

+1. Можливо, варто відзначити, що К. Пірсон не просто "каталогізував" бета-розподіли: він отримав їх за допомогою сімейства диференціальних рівнянь, натхнених співвідношенням, яке він спостерігав між різницевими рівняннями для двочленних та диференціальними рівняннями для нормального розподілу. Узагальнення рівняння біноміального різниці до гіпергеометричного розподілу дало узагальнення диференціального рівняння, рішення якого включало бета-розподіли "Тип I" та "Тип II". Саме такий вид походження ab initio OP, схоже, прагне.

— whuber

Я думаю, що я можу багато чого навчитися, вивчивши цю відповідь. Наразі це для мене занадто просунуте, але коли я встигну, я повернусь і досліджу теми, про які ви згадали, то спробуйте знову зрозуміти це. Велике дякую. :)

— Буде Бредшоу

Перш за все, я не добре в математично точних описах понять в голові, але спробую зробити все можливе, використовуючи простий приклад:

Уявіть, у вас є лук, багато стріл і ціль. Скажімо далі, ваша швидкість влучення (для попадання в ціль) - це саме функція відстані до центру цілі та такої форми де x - відстань до центру цілі ( ). Для це було б наближенням Гаусса першого порядку. Це означало б, що ви найчастіше нападаєте на очі. Аналогічно він наближає будь-яку дзвіноподібну криву, наприклад, в результаті дифузії броунівських частинок. $\lambda$

\begin{array}{rcl} λ = g (x) = λ_{m a x} - (q | x - x_{0} |)^{\frac{1}{q}}, q > 0, 0 \leq λ \leq λ_{m a x} \end{array}

$\begin{eqnarray} \lambda=g(x)=\lambda_{max}-(q|x-x_0|)^\frac{1}{q},~q > 0,~0 \leq \lambda \leq \lambda_{max} \end{eqnarray}$

x_{0}

$x_0$

q = 1 / 2

$q=1/2$

Тепер, давайте, крім того, припустимо, що хтось справді сміливий / дурний намагається обдурити вас і зміщує ціль на кожному пострілі. Тим самим ми робимо себе випадковою змінною. Якщо розподіл рухів цієї людини можна описати (p-1) -силою (тобто ), простим перетворення випадкових змінних (пам'ятайте, ) призводить до розподілу бета-версії : $x_0$ $g(x)$ $P(x_0) = C\cdot g(x)^{p-1})$ $P(\lambda)d\lambda=P(x_0)dx_0$ $\lambda$

\begin{array}{rcl} P (λ) = P (g^{- 1} (λ)) | \frac{d g^{- 1} (λ)}{d λ} | = C^{'} \cdot λ^{p - 1} \cdot (λ_{m a x} - λ)^{q - 1} \end{array}

$\begin{eqnarray}P(\lambda) = P(g^{-1}(\lambda)) \biggl|\frac{dg^{-1}(\lambda)}{d\lambda}\biggl| = C' \cdot \lambda^{p-1} \cdot (\lambda_{max} - \lambda)^{q-1}\end{eqnarray}$

де константа нормалізації є бета-функцією. Для стандартної параметризації бета-розподілу ми встановимо . $C'$ $\lambda_{max} = 1$

Іншими словами, бета-розподіл може розглядатися як розподіл ймовірностей у центрі скороченого розподілу.

Я сподіваюся, що ця деривація наблизиться до того, що мав на увазі ваш інструктор. Зауважимо, що функціональні форми і дуже гнучкі і досягають від трикутника, як розподіли та U-подібні розподіли (див. Приклад нижче), до різко пікових розподілів. $g(x)$ $P(x_0)$

FYI: Я виявив це як побічний ефект у своїй докторській роботі і повідомив про це в своїй дипломній роботі в контексті нестаціонарних кривих нейронної настройки, що призводить до нульових завищених розподілів кількості шипів (бімодальних з режимом у нуль). Застосування описаної вище концепції дало розподіл суміші Бета-Пуассона для нейронної активності. Цей розподіл може відповідати даним. Встановлені параметри дозволяють оцінити як розподіл так і розподіл тремтіння , застосовуючи зворотну логіку. Суміш Бета-Пуассона є дуже цікавою та гнучкою альтернативою широко використовуваному негативному біноміальному розподілу (який є сумішшю Гамма-Пуассона) для моделювання наддисперсії. Нижче ви знайдете приклад "Jitter $g(x)$ $p(x_0)$ $\rightarrow$ Бета "- ідея в дії:

A : Модельоване 1D пробне переміщення, виведене з розподілу тремтіння у вставці ( ). Пробне усереднене поле стрільби (суцільна чорна лінія) ширше і має менший піковий показник порівняно з нижньою кривою настройки без тремтіння (суцільна синя лінія, використовувані параметри: . Б : Отриманий розподіл при . через N = 100 випробувань і аналітичний PDF бети - розподілу C : змодельованої розподіл кількості шипа з процесу Пуассона з параметрами , де я позначаю індекси випробувань і отриманий розподіл Бета-Пуассона, як виведено, як описано вище. $P(jitter)\propto g(x)^{p-1}$ $\lambda_{max} = 10, p = .6, q=.5$ $\lambda$ $x_0$ $\lambda_i$ D : Аналогічна ситуація в 2D з кутами випадкового зсуву, що ведуть до однакової статистики.

— Джоджо
джерело