Бета-розподіл на гортанні монети

Баєзійська книга Крушке говорить про використання бета-розподілу для гортання монети,

Наприклад, якщо у нас немає попередніх знань, крім знань про те, що монета має сторону голови та хвіст, це рівнозначно раніше спостерігали одну голову та один хвіст, що відповідає a = 1 та b = 1.

Чому б жодна інформація не рівнозначна тому, що я бачив одну голову та один хвіст - 0 голів та 0 хвостів мені здається більш природним.

probability bayesian beta-distribution

— Хатшепсут
джерело

(+1) Цитата вводить в оману, оскільки пропонує читачеві прирівняти два дуже різні відчуття «спостерігати». Сенс, який використовується тут, полягає в тому, що оглянути саму монету - це означає, що ви розумієте експериментальну установку. Але висновок про те, що це означає залежить від повторної інтерпретації "спостерігати" у різному розумінні проведення експерименту двічі, протягом якого одним результатом були голови, а другий хвости. Цей логічний хитромудрий досвід - інтелектуальний коп; це лише змушує баєсовських методів здаватися довільними та логічно слизькими, що шкода.

a = b = 1

$a=b=1$

— whuber

Цитата неправильна: немає жодного обґрунтування для пріоритету Beta (1, 1).

— Ніл G

Можна так само легко стверджувати, що цінність одного спостереження - половина голови / половина хвоста.

— Glen_b -Встановіть Моніку

Будь ласка, пам’ятайте про цільове призначення цього уривку в книзі. Це має бути простим інтуїтивним обґрунтуванням для початківців прикладних користувачів , очевидно, не математичний аргумент і, безумовно, не стверджує, що бета (1,1) є найкращим або лише невиразним попереднім. В іншому випадку в книзі я відчуваю, що скромні варіації розпливчастих пріорів не мають суттєвої різниці в задній частині, коли є помірно великий обсяг даних. (За винятком факторів Байєса, звичайно, які дуже чутливі до попереднього!) В інших працях я обговорював раніше Халдан.

— Джон К. Крушке

Цитата - це "логічна хитрість рук" (чудовий вираз!), Як зазначив @whuber у коментарях до ОП. Єдине, що ми можемо реально сказати, побачивши, що монета має голову і хвіст, - це те, що і події "голова", і "хвіст" не є неможливими. Таким чином, ми могли б відкинути дискретний поперед, який ставить всю ймовірнісну масу на "голову" або на "хвіст". Але це не призводить само по собі до єдиного попереднього питання: питання набагато тонкіше. Давайте насамперед підведемо підсумки. Ми розглядаємо модель бета-біномінальної сполученої моделі для баєсівського висновку про ймовірність голів монети, задану незалежними та однаково розподіленими (умовно на ) киданнями монети. $\theta$ $n$ $\theta$ $p(\theta|x)$ коли ми спостерігаємо голів у кидках: $x$ $n$

p (θ | x) = B e t a (x + α, n - x + β)

$p(\theta|x) = Beta(x+\alpha, n-x+\beta)$

ми можемо сказати, що та грають ролі "попередньої кількості голів" і "попередньої кількості хвостів" (псевдотриали), а може бути інтерпретована як ефективний розмір вибірки. Ми також могли б дійти до цієї інтерпретації, використовуючи добре відомий вираз заднього середнього значення як середньозважене значення попереднього середнього значення а середнє значення вибірки . $\alpha$ $\beta$ $\alpha+\beta$ $\frac{\alpha}{\alpha+\beta}$ $\frac{x}{n}$

Дивлячись на , ми можемо зробити два міркування: $p(\theta|x)$

оскільки ми не маємо попередніх знань про (максимальне незнання), ми інтуїтивно очікуємо, що ефективний розмір вибірки буде "малим". Якби вона була великою, тоді попереднє включало б досить багато знань. Інший спосіб бачити це - зазначити, що якщо і "малі" щодо і , задня ймовірність не буде сильно залежати від нашої попередньої, тому що і . Ми очікуємо, що пріоритет, який не містить багато знань, повинен швидко стати неактуальним у світлі деяких даних. $\theta$ $\alpha+\beta$ $\alpha$ $\beta$ $x$ $n-x$ $x+\alpha\approx x$ $n-x+\beta\approx n-x$
Крім того, оскільки є попереднім значенням, і у нас немає попередніх знань про розподіл , ми очікуємо, що . Це аргумент симетрії - якщо ми не знаємо нічого кращого, ми апріорі не очікували, що розподіл перекошений у бік 0 або до 1. Розподіл бета-версії $\mu_{prior}=\frac{\alpha}{\alpha+\beta}$ $\theta$ $\mu_{prior}=0.5$

$f (θ | α, β) = \frac{Γ (α + β)}{Γ (α) + Γ (β)} θ^{α - 1} (1 - θ)^{β - 1}$ $f(\theta|\alpha,\beta)=\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha) +\Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}$
Цей вираз є симетричним лише навколо якщо . $\theta=0.5$ $\alpha=\beta$

З цих двох причин, незалежно від того, що раніше (належить до родини Beta - пам’ятайте, поєднана модель!), Яку ми вирішимо використовувати, ми інтуїтивно очікуємо, що і "малі". Ми можемо бачити, що всі три загальноприйняті неінформативні пріори для бета-біноміальної моделі поділяють ці ознаки, але крім них вони зовсім інші. І це очевидно: жодне попереднє знання чи "максимальне незнання" не є науковим визначенням, тому який тип попереднього виражає "максимальне незнання", тобто те, що є неінформативним попереднім, залежить від того, що ви насправді означаєте як "максимум" незнання ". $\alpha=\beta=c$ $c$

ми можемо вибрати пріоритет, який говорить, що всі значення для є безперечними, оскільки ми не знаємо нічого кращого. Знову аргумент симетрії. Це відповідає : $\theta$ $\alpha=\beta=1$

$f (θ | 1, 1) = \frac{Γ (2)}{2 Γ (1)} θ^{0} (1 - θ)^{0} = 1$ $f(\theta|1,1)=\frac{\Gamma(2)}{2\Gamma(1)}\theta^{0}(1-\theta)^{0}=1$
для , тобто рівномірну форму, яку раніше використовував Крушке. Більш формально, виписавши вираз для диференціальної ентропії розподілу бета-версії, можна побачити, що воно максимізоване, коли . Тепер ентропія часто трактується як міра "кількості інформації", яку здійснює розподіл: вища ентропія відповідає меншій кількості інформації. Таким чином, ви можете використовувати цей принцип максимальної ентропії, щоб сказати, що всередині сімейства бета-версії, попередня, яка містить менше інформації (максимальне незнання), є цією рівною формою. $\theta\in[0,1]$ $\alpha=\beta=1$
Ви можете вибрати іншу точку зору, ту, яку використовує ОП, і сказати, що жодна інформація не відповідає тому, що не бачив ні голови, ні хвоста, тобто,

$α = β = 0 \Rightarrow π (θ) \propto θ^{- 1} (1 - θ)^{- 1}$ $\alpha=\beta=0 \Rightarrow \pi(\theta) \propto \theta^{-1}(1-\theta)^{-1}$
Попередження, яке ми отримаємо таким чином, називається попереднім Халданом . Функція має невелику проблему - інтеграл над є нескінченним, тобто незалежно від того, яка нормалізуюча константа не може бути перетворений у належний pdf. Власне, пріоритет Халдана є належним pmf , який ставить вірогідність 0,5 на , 0,5 на та 0 ймовірність на всі інші значення для . Однак не будемо захоплюватися - для неперервного параметра пріори, які не відповідають правильному pdf, називаються неправильними пріоріями $\theta^{-1}(1-\theta)^{-1}$ $I=[0, 1]$ $\theta=0$ $\theta=1$ $\theta$ $\theta$ . Оскільки, як зазначалося раніше, все, що має значення для байєсівського висновку, - це задній розподіл, допустимі неправильні пріори, якщо правильний задній розподіл. У випадку попереднього Haldane, ми можемо довести, що задній pdf є правильним, якщо наш зразок містить хоча б один успіх та один збій. Таким чином, ми можемо використовувати Халдан до того часу, коли спостерігаємо хоча б одну голову та один хвіст.

Є ще один сенс, в якому попередній Haldane можна вважати неінформативним: середнє значення заднього розподілу тепер , тобто частота вибірки голів, яка є частотою МЛЕ оцінки для біноміальної моделі проблеми монети. Також достовірні інтервали для відповідають інтервалам довіри Wald. Оскільки в частолістських методах не вказано попереднього, можна сказати, що попередній час Халдана є неінформативним або відповідає нульовим попереднім знанням, тому що це призводить до "того ж" висновку, який робив би частоліст. $\frac{\alpha + x}{\alpha + \beta + n}=\frac{x}{n}$ $\theta$ $\theta$
Нарешті, ви можете використати пріоритет, який не залежить від параметризації проблеми, тобто попереднього Джеффріса, який для бета-біноміальної моделі відповідає

$α = β = \frac{1}{2} \Rightarrow π (θ) \propto θ^{- \frac{1}{2}} (1 - θ)^{- \frac{1}{2}}$ $\alpha=\beta=\frac{1}{2} \Rightarrow \pi(\theta) \propto \theta^{-\frac{1}{2}}(1-\theta)^{-\frac{1}{2}}$
таким чином, з ефективним розміром вибірки 1. Попередня Джефріса має перевагу в тому, що вона є інваріантною при репараметризації простору параметрів. Наприклад, рівномірний попередній призначає однакову ймовірність усім значенням , ймовірність події "head". Однак ви можете вирішити параметризувати цю модель з точки зору log-odds події "head", а не . Що таке попереднє, що виражає "максимальну незнання" з точки зору логічних коефіцієнтів, тобто те, що говорить про те, що всі можливі коефіцієнти журналу для "голови" подій є безперечними? Це попередня Халдана, як показано у цій (злегка викривленій) відповіді $\theta$ $\lambda=log(\frac{\theta}{1-\theta})$ $\theta$ . Натомість Джеффрі інваріантний при всіх змінах метрики. Джеффріс заявив, що пріоритет, який не має цього властивості, певним чином є інформативним, оскільки містить інформацію про показник, який ви використовували для параметризації проблеми. Його попереднього немає.

Підводячи підсумок, у бета-біноміальній моделі існує не один однозначний вибір неінформативного попереднього. Що ви обираєте, залежить від того, що ви маєте на увазі як нульові попередні знання, а також від цілей вашого аналізу.

— DeltaIV
джерело

Це явно неправильно. Спостереження за 1 головою та 1 хвостом означає, що (неможливо мати монету з усіма головами) і (неможливо мати монету з усіма хвостами). Рівномірний розподіл не відповідає цьому. Що відповідає - це бета (2,2). З рішення Байєса до проблеми монети-перевертання з Лапласом (тобто рівномірним), що передує , задня ймовірність дорівнює . $p(\theta=0)=0$ $p(\theta=1)=0$ $\theta$ $p(\theta)={\rm Beta}(h+1,(N-h)+1)$

— user23856
джерело

Мені важко зрозуміти вашу відповідь.

— Майкл Р. Черник

Ваш висновок про те, що "рівномірний розподіл не відповідає цьому" є неправильним. Він плутає щільність (що саме мається на увазі під " ") з вірогідністю . (Безперервний) рівномірний розподіл призначає нульову ймовірність будь-якій атомній події, такі як або .

p

$p$

θ = 0

$\theta=0$

θ = 1

$\theta=1$

— whuber