Допоможіть мені зрозуміти байєсівські попередні та задні розподіли

У групі студентів є 2 з 18, які є лівшею. Знайдіть задній розподіл ліворуких студентів у популяції, припускаючи, що раніше неінформативний. Підсумуйте результати. За даними літератури 5-20% людей - лівші. Враховуйте цю інформацію в попередньому і обчислюйте нову задню.

Я знаю, що тут слід використовувати бета-розподіл . По-перше, значення $\alpha$ і $\beta$ як 1? Рівняння, яке я знайшов у матеріалі для заднього, є

$Y=2$ ,$N=18$

Чому це $r$ у рівнянні? ( $r$ позначає частку ліворуких). Це невідомо, так як же може бути в цьому рівнянні? Мені здається смішним обчислювати $r$ заданий $Y$ і використовувати це $r$ у рівнянні, що дає $r$ . Ну, з зразка $r=2/18$ результат був $0,0019$ . $f$ я повинен вивести з цього?

Рівняння, що дало очікуване значення $R$ за відомими $Y$ і $N$ працювало краще і дало мені $0,15$ що звучить прямо. Рівняння $E(r | X, N, α, β) = (α + X)/(α + β + N)$ зі значенням $1$ присвоєним $α$ і $β$ . Які значення слід дати $α$ і $β$ щоб врахувати попередню інформацію?

Деякі поради були б дуже вдячні. Загальна лекція про попередні та задні дистрибуції теж не завадила б (я розпливчасто розумію, що це таке, але лише невиразно). Майте також на увазі, що я не дуже просунутий статистик (насправді я головний фахівець з політології), тому передова математика, ймовірно, пролетить над моєю головою.

Дозвольте мені спочатку пояснити, що таке кон'югат . Потім я поясню байєсівські аналізи, використовуючи ваш конкретний приклад. Байєсська статистика передбачає наступні кроки:

1. Визначте попередній розподіл, який включає ваші суб'єктивні переконання щодо параметра (у вашому прикладі параметр, що цікавить, - це частка лівих. Попередній може бути "неінформативним" або "інформативним" (але немає попереднього, який не має інформації, дивіться обговорення тут ).
2. Зберіть дані.
3. Оновіть свій попередній розподіл за допомогою даних, використовуючи теорему Байєса, щоб отримати задній розподіл. Задній розподіл - це розподіл ймовірностей, який представляє ваші оновлені уявлення про параметр після перегляду даних.
4. Проаналізуйте задній розподіл та узагальнюйте його (середній, медіанний, sd, квантовий, ...).

Основою всієї байєсівської статистики є теорема Байєса, яка є

У вашому випадку ймовірність є двочленною. Якщо попередній і задній розподіл знаходяться в одній родині, то попередній і задній розподіли називають сполученими розподілами. Розподіл бета є попереднім кон'югатом, оскільки задній також є бета-розподілом. Ми говоримо, що бета-розподіл є кон'югованою сімейством для вірогідності біномів. Кон'югатні аналізи зручні, але рідко трапляються в реальних проблемах. У більшості випадків задній розподіл потрібно знайти чисельно за допомогою MCMC (використовуючи Stan, WinBUGS, OpenBUGS, JAGS, PyMC або якусь іншу програму).

Якщо попередній розподіл ймовірностей не інтегрується до 1, він називається неправильним попереднім, якщо він інтегрується до 1, він називається належним попереднім. У більшості випадків неправильний прийом не представляє великої проблеми для байєсівських аналізів. Задній розподіл повинен бути правильним, тобто задній повинен інтегруватися до 1.

Ці основні правила безпосередньо випливають із характеру процедури Байєсового аналізу:

• Якщо попередній неінформативний, задній дуже визначається даними (задній керується даними)
• Якщо попереднє є інформативним, заднє - це суміш попереднього та даних
• Чим інформативніше попереднє, тим більше даних вам потрібно "змінити" свої переконання, так би мовити, тому що заднє дуже сильно керується попередньою інформацією
• Якщо у вас багато даних, дані будуть переважати в задньому розподілі (вони перекриють попередній)

Відмінний огляд деяких можливих "інформативних" та "неінформативних" пріорів для бета-розподілу можна знайти у цій публікації .

Скажіть, що ваша попередня бета-версія - де - частка лівих. Щоб вказати попередні параметри та , корисно знати середнє значення та дисперсію розподілу бета-версії (наприклад, якщо ви хочете, щоб ваш попередній показник мав середнє значення та дисперсію). Середнє значення - . Таким чином, щоразу, коли , середнє значення становить . Дисперсія бета-розподілу - . Тепер зручніше те, що ви можете придумати та$\mathrm{Beta}(\pi_{LH}| \alpha, \beta)$$\pi_{LH}$$\alpha$$\beta$$\bar{\pi}_{LH}=\alpha/(\alpha + \beta)$$\alpha =\beta$$0.5$$\frac{\alpha\beta}{(\alpha + \beta)^{2}(\alpha + \beta + 1)}$$\alpha$$\beta$як було раніше зафіксовано (псевдо-) дані, а саме -лівші та праворуч із (псевдо-) вибірки розміром . Розподіл є рівномірним (усі значення однаково вірогідні) і є еквівалентом спостереження за двома людьми з них одна - лівша, а одна - правша.$\alpha$$\beta$$n_{eq}=\alpha + \beta$$\mathrm{Beta}(\pi_{LH} |\alpha=1, \beta=1)$$\pi_{LH}$

Задній бета-розподіл - просто де - розмір вибірки, - кількість лівших у вибірці. Середнє заднє значення - це . Отже, щоб знайти параметри заднього бета-розподілу, ми просто додаємо лівих ліній до а правих - до . Задня дисперсія -$\mathrm{Beta}(z + \alpha, N - z +\beta)$$N$$z$$\pi_{LH}$$(z + \alpha)/(N + \alpha + \beta)$$z$$\alpha$$N-z$$\beta$$\frac{(z+\alpha)(N-z+\beta)}{(N+\alpha+\beta)^{2}(N + \alpha + \beta + 1)}$. Зауважимо, що високоінформативний попередній привід також призводить до меншої дисперсії заднього розподілу (графіки нижче зображено крапку).

У вашому випадку і і ваш попередній - це рівномірність, яка є неінформативною, тому . Отже, ваш задній розподіл - . Середня задня частина - . Ось графік, який показує попередні, ймовірність даних та задніх$z=2$$N=18$$\alpha = \beta = 1$$Beta(3, 17)$$\bar{\pi}_{LH}=3/(3+17)=0.15$

Ви бачите, що оскільки ваш попередній розподіл неінформативний, ваш задній розподіл повністю керується даними. Також побудовано інтервал найвищої щільності (HDI) для заднього розподілу. Уявіть, що ви розмістили задній розподіл у 2D-басейні і почнете заливати воду, поки 95% розподілу не буде вище ватерлінії. Точки, де водяна лінія перетинається із задньою розподілом, становлять 95% -HDI. Кожна точка всередині HDI має більшу ймовірність, ніж будь-яка точка поза нею. Також HDI завжди включає пік заднього розподілу (тобто режим). ІРД відрізняється від рівного до кінця 95% достовірного інтервалу, коли 2,5% від кожного хвоста задньої частини виключаються (див. Тут ).

Для вашого другого завдання вам пропонується включити інформацію про те, що 5-20% населення є лівими. Існує кілька способів зробити це. Найпростіший спосіб - сказати, що попередній бета-розподіл повинен мати середнє значення що означає середнє і . Але як вибрати та попереднього бета-розподілу? По-перше, ви хочете, щоб ваше середнє значення попереднього розподілу становило з псевдо-зразка еквівалентного розміру вибірки . Більш загально, якщо ви хочете, щоб ваш раніше мав середній з розміром псевдо вибірки , відповідний$0.125$$0.05$$0.2$$\alpha$$\beta$$0.125$$n_{eq}$$m$$n_{eq}$$\alpha$і значення: і . Вам залишається лише вибрати розмір псевдо-зразка який визначає, наскільки ви впевнені у своїй попередній інформації. Скажімо, ви дуже впевнені у своїй попередній інформації та встановите . Параметри вашого попереднього розподілу є і . Задній розподіл - із середнім значенням приблизно що практично таке ж, як і попереднє середнє значення$\beta$$\alpha = mn_{eq}$$\beta = (1-m)n_{eq}$$n_{eq}$$n_{eq}=1000$$\alpha = 0.125\cdot 1000 = 125$$\beta = (1 - 0.125)\cdot 1000 = 875$$\mathrm{Beta}(127, 891)$$0.125$$0.125$. Попередня інформація домінує над задньою (див. Наступний графік):

Якщо ви менше впевнені в попередній інформації, ви можете встановити вашого псевдо-зразка, скажімо, , що дає і для вашого попереднього бета-розподілу. Задній розподіл - із середнім значенням приблизно . Задне середнє значення зараз близько середнього значення ваших даних ( ), оскільки дані переважають попередні. Ось графік, що показує ситуацію:$n_{eq}$$10$$\alpha=1.25$$\beta=8.75$$\mathrm{Beta}(3.25, 24.75)$$0.116$$0.111$

Більш досконалим методом включення попередньої інформації було б сказати, що квантил вашого попереднього бета-розподілу повинен бути приблизно а квантил - приблизно . Це рівнозначно тому, що ви на 95% впевнені, що частка лівших серед населення лежить між 5% та 20%. Функція в пакеті R обчислює відповідні значення і бета-розподілу, відповідні таким квантилям. Код є$0.025$$0.05$$0.975$$0.2$beta.selectLearnBayes$\alpha$$\beta$

library(LearnBayes)

quantile1=list(p=.025, x=0.05)     # the 2.5% quantile should be 0.05
quantile2=list(p=.975, x=0.2)      # the 97.5% quantile should be 0.2
beta.select(quantile1, quantile2)

[1]  7.61 59.13

Здається, що бета-розподіл з параметрами та має бажані властивості. Попереднє середнє значення - що близько до середнього значення ваших даних ( ). Знову ж таки, цей попередній розподіл включає інформацію псевдо-зразка еквівалентного розміру вибірки приблизно . Задній розподіл - із середнім значенням що можна порівняти із середнім показником попереднього аналізу, використовуючи попередньо високоінформативний . Ось відповідний графік:$\alpha = 7.61$$\beta=59.13$$7.61/(7.61 + 59.13)\approx 0.114$$0.111$$n_{eq}\approx 7.61+59.13 \approx 66.74$$\mathrm{Beta}(9.61, 75.13)$$0.113$$\mathrm{Beta}(125, 875)$

Дивіться також цю посилання для короткого, але непоганого огляду байєсівських міркувань та простого аналізу. Більш тривале введення для кон'югованих аналізів, особливо для біноміальних даних, можна знайти тут . Загальний вступ до байєсівського мислення можна знайти тут . Більше слайдів, що стосуються аспектів Байзійської статистики, тут .

Бета-розподіл з = 1 і = 1 - це те саме, що і рівномірний розподіл. Так воно насправді є уніформативним. Ви намагаєтеся знайти інформацію про параметр розподілу (у цьому випадку відсоток ліворуких у групі людей). Формула Байєса говорить:$\alpha$$\beta$

$P(r|Y_{1,...,n})$ =$\frac{P(Y_{1,...,n}|r)*P(r)}{\int P(Y_{1,...,n}|\theta)*P(r)}$

що ви вказали пропорційно:

$P(r|Y_{1,...,n})$ $\propto$ $(Y_{1,...,n}|r)*P(r)$

Таким чином, ви починаєте з попереднього переконання щодо кількості лівих лідерів у групі (P (r), для яких ви використовуєте рівномірний розподіл), а потім розглядаєте дані, які ви збираєте, щоб повідомити про своє попереднє (двочлен в цьому випадку: або ви праві, або ліві руки, так що ). Біноміальний розподіл має попередній бета-кон'югат, що означає, що задній розподіл$P(Y_{1,...,n}|r)$$P(r|Y_{1,...n})$, розподіл параметра після врахування даних відбувається в тому ж сімействі, що і попереднє. г тут невідомо зрештою. (і, чесно кажучи, це не було до збору даних. У нас досить гарна ідея про частку лівих людей у ​​суспільстві.) Ви отримали як попередній розподіл (ваше припущення про r), так і ви зібрали дані і покладіть два разом. Заднє - ваше нове припущення щодо розподілу лівих хендерів після розгляду даних. Отже, ви берете ймовірність даних і помножуєте їх на уніформу. Очікуване значення бета-розподілу (що таке плакат) - . Отже, коли ви почали, ваше припущення з = 1 і$\frac{\alpha}{\alpha+\beta}$$\alpha$$\beta$= 1 було те, що частка лівих людей у ​​світі була . Тепер ви зібрали дані, які мають 2 ліпки з 18-ти. Ви обчислили задню частину. (все-таки бета-версія) Ваші значення та зараз різні, змінюючи ваше уявлення про пропорцію левші проти правди. як це змінилося?$\frac{1}{2}$$\alpha$$\beta$

У першій частині Вашого запитання вас просять визначити придатний попередній термін для "r". Маючи біноміальні дані в руці, було б розумно вибрати бета-розподіл. Тому що тоді задній буде бета-версією. Уніфікований розподіл, будучи особливим випадком бета-версії, ви можете вибрати попередній для "r" Уніфікований розподіл, що дозволяє кожному можливому значенню "r" бути однаково вірогідним.

У другій частині ви надали інформацію щодо попереднього розповсюдження "r".

З цим у відповідь @ COOLSerdash відповідь дасть точні вказівки.

Дякуємо, що опублікували це запитання та COOLSerdash за те, що ви дали належну відповідь.