Який зв’язок між достовірними регіонами та тестами гіпотез Баєса?

38

У частотистській статистиці існує тісний зв’язок між довірчими інтервалами та тестами. Використовуючи умовивід про в розподілі як приклад, інтервал довіри містить усі значення , які не відхиляються -test на рівні значущості . $\mu$ $\rm N(\mu,\sigma^2)$ $1-\alpha$

\bar{x} \pm t_{α / 2} (n - 1) \cdot s / \sqrt{n}

$\bar{x}\pm t_{\alpha/2}(n-1)\cdot s/\sqrt{n}$

μ

$\mu$

t

$t$

α

$\alpha$

У цьому сенсі часто перевірливі довірчі інтервали. (Між іншим, це означає, що ми можемо інтерпретувати -значення як найменше значення для якого нульове значення параметра буде включено в довірчий інтервал . Я вважаю, що це може бути корисним способом поясніть, що таке насправді -значення людям, які знають трохи статистики.) $p$ $\alpha$ $1-\alpha$ $p$

Читаючи про теоретико-фундаментальну базування достовірних регіонів Байєса , я почав замислюватися, чи існує подібний зв’язок / еквівалентність між достовірними регіонами та тестами Баєса.

Чи є загальний зв’язок?
Якщо загального зв’язку немає, чи є приклади, де є з'єднання?
Якщо немає загального зв’язку, як ми можемо це бачити?

— MånsT
джерело

Пов'язане питання, про яке я задався питанням - чи могла б хтось вказати мені на документ, який вони вважають "золотим стандартом" або "канонічним прикладом" тестування гіпотез Баєса, який використовується на реальній проблемі, а не на прикладі іграшки. Я ніколи не розумів тестування гіпотез Байеса і думаю, що знайшов би хороший приклад його використання.

— Патрік Калдон

2

@PatrickCaldon Я сумніваюся, що в цьому є "золота папір", оскільки тестування гіпотез Байєса сформульовано в теоретично-теоретичних рамках (тому воно занадто широке, щоб бути захопленим в одному документі). Книга, згадана у відповіді Менс, надає хороший матеріал, книги Бергера та бесіди також можуть зацікавити.

Я вважаю, що стаття ba.stat.cmu.edu/vol03is01.php може прояснити більшість наших дискусій тут.

— Карлос AB Перейра

Дякую, @Carlos! Здається, посилання зараз не працює, але я думаю, що це призводить до вашої статті 2008 року в Байєсівському аналізі зі Стерном та Векслером. Я виявив, що дуже цікаво читати!

— MånsT

Шановний MånsT: Байєсівський аналіз перейшов до проекту Евклід. Професор Карлос паперу тут: projecteuclid.org / ...

— Zen

19

Мені вдалося привести приклад, де існує зв’язок. Здається, це сильно залежить від мого вибору функції втрати та використання складених гіпотез.

Я розпочну з загального прикладу, за яким слідує простий спеціальний випадок, що включає звичайний розподіл.

Загальний приклад

Для невідомого параметра , нехай є простором параметрів і розглянемо гіпотезу проти альтернативи . $\theta$ $\Theta$ $\theta\in\Theta_0$ $\theta\in\Theta_1=\Theta\backslash\Theta_0$

Нехай функція тест, використовуючи позначення в Сіані «s байєсівського вибір (який є свого роду задом наперед, що я по крайней мере , я звик до), так що ми відкидаємо якщо і прийняти якщо . Розглянемо функцію втрати Тест Байєса - це $\varphi$ $\Theta_0$ $\varphi=0$ $\Theta_0$ $\varphi=1$

L (θ, φ) = {\begin{cases} 0, & if φ = I_{Θ_{0}} (θ) \\ a_{0}, & if θ \in Θ_{0} and φ = 0 \\ a_{1}, & if θ \in Θ_{1} and φ = 1. \end{cases}

$L(\theta,\varphi) = \begin{cases} 0, & \mbox{if } \varphi=\mathbb{I}_{\Theta_0}(\theta) \\ a_0, & \mbox{if } \theta\in\Theta_0 \mbox{ and }\varphi=0\\ a_1, & \mbox{if } \theta\in\Theta_1 \mbox{ and }\varphi=1. \end{cases}$

φ^{π} (x) = 1 i f P (θ \in Θ_{0} | x) \geq a_{1} (a_{0} + a_{1})^{- 1} .

$\varphi^\pi(x)=1\quad \rm if\quad P(\theta\in\Theta_0|x)\geq a_1(a_0+a_1)^{-1}.$

Візьміть і . Нульова гіпотеза приймається, якщо . $a_0=\alpha\leq 0.5$ $a_1=1-\alpha$ $\Theta_0$ $\rm P(\theta\in\Theta_0|x)\geq 1-\alpha$

Тепер достовірна область - така область, що . Таким чином, за визначенням, якщо такий, що , може бути достовірним регіоном, лише якщо . $\Theta_c$ $\rm P(\Theta_c|x)\geq 1-\alpha$ $\Theta_0$ $\rm P(\theta\in\Theta_0|x)\geq 1-\alpha$ $\Theta_c$ $\rm P(\Theta_0\cap\Theta_c|x)>0$

Ми приймаємо нульову гіпотезу, якщо лише якщо кожна достовірна область містить ненульовий підмножину . $1-\alpha$ $\Theta_0$

Простіший спеціальний випадок

Щоб краще проілюструвати тест, який ми маємо у наведеному вище прикладі, розглянемо наступний спеціальний випадок.

Нехай з . Встановіть , та , щоб ми хотіли перевірити, чи . $x\sim \rm N(\theta,1)$ $\theta\sim \rm N(0,1)$ $\Theta=\mathbb{R}$ $\Theta_0=(-\infty,0]$ $\Theta_1=(0,\infty)$ $\theta\leq 0$

Стандартні обчислення дають де є стандартним нормальним cdf.

P (θ \leq 0 | x) = Φ (- x / \sqrt{2}),

$\rm P(\theta\leq 0|x)=\Phi(-x/\sqrt{2}),$

Φ (\cdot)

$\Phi(\cdot)$

Нехай буде таким, що . приймається, коли . $z_{1-\alpha}$ $\Phi(z_{1-\alpha})=1-\alpha$ $\Theta_0$ $-x/\sqrt{2}>z_{1-\alpha}$

Це еквівалентно прийняттю, колиТому , відхиляється, коли . $x\leq \sqrt{2}z_{\alpha}.$ $\alpha=0.05$ $\Theta_0$ $x>-2.33$

Якщо замість цього ми використовуємо попереднє , відхиляється, коли . $\theta\sim \rm N(\nu,1)$ $\Theta_0$ $x>-2.33-\nu$

Коментарі

Наведена вище функція втрати, де ми думаємо, що помилково прийняти нульову гіпотезу гірше, ніж помилково її відкинути, може на перший погляд здатися трохи штучною. Однак це може принести велику користь у ситуаціях, коли «помилкові негативи» можуть бути дорогими, наприклад, при обстеженні небезпечних заразних захворювань або терористів.

Умова, згідно з якою всі достовірні регіони повинні містити частину , насправді трохи сильніше, ніж я сподівався: у випадку відповідність знаходиться між одним тестом та одним інтервалом довіри а не між одним тест і всі інтервали. $\Theta_0$ $1-\alpha$ $1-\alpha$

— MånsT
джерело

2

+1 Я б використав область достовірності замість інтервалу довіри .

1

Дякую @Procrastinator! Я відредагував відповідь і змінив її на "регіон", поки я був на ній. Я в основному працюю з HPD-областями одномодальних плакатів, тому схильні вважати області довіри як проміжки часу. :)

— MånsT

12

Майкл та Фрейджо запропонували, щоб просто перевірити, чи міститься параметр зацікавленого в якомусь достовірному регіоні, є байєсівський еквівалент інвертуючих довірчих інтервалів. Спочатку я трохи скептично ставився до цього, оскільки мені не було очевидно, що ця процедура справді призводила до байєсівського тесту (у звичайному розумінні).

Як виявляється, це і є - принаймні, якщо ви готові прийняти певний тип функцій втрат. Велике спасибі Дзену , який надав посилання на два документи, що встановлюють зв’язок між областями HPD та тестуванням гіпотез:

Перейра і Стерн (1999), Докази та достовірність: повний баєсівський тест на значущість для точних гіпотез , Ентропія
Madruga, Esteves & Wechsler (2001), Про байєсності тестів Перейра-Стерн , Тест

Я спробую їх узагальнити тут, для подальшого ознайомлення. Аналогічно прикладу в оригінальному запитанні, я розглядаю особливий випадок, коли гіпотези: де - простір параметрів.

H_{0} : θ \in Θ_{0} = {θ_{0}} and H_{1} : θ \in Θ_{1} = Θ ∖ Θ_{0},

$H_0: \theta\in\Theta_0=\{\theta_0\}\qquad \mbox{and}\qquad H_1: \theta\in\Theta_1=\Theta\backslash \Theta_0,$

Θ

$\Theta$

Перейра і Стерн запропонували метод тестування згаданих гіпотез без необхідності ставити попередні ймовірності на та $\Theta_0$ $\Theta_1$ .

Нехай позначає функцію щільності і визначимо $\pi(\cdot)$ $\theta$

T (x) = {θ : π (θ | x) > π (θ_{0} | x)} .

$T(x)=\{ \theta:\pi(\theta|x)>\pi(\theta_0|x)\}.$

Це означає, що - область HPD з достовірністю . $T(x)$ $P(\theta\in T(x)|x)$

Тест Перейра-Стерна відкидає коли "малий" ( , скажімо). Для одномодальної задньої це означає, що знаходиться далеко в хвостах задньої частини, що робить цей критерій дещо подібним до використання p-значень. Іншими словами, відхиляється на рівні якщо і лише тоді, коли він не міститься в області 95D HPD. $\Theta_0$ $P(\theta\notin T(x)|x)$ $<0.05$ $\theta_0$ $\Theta_0$ $5~\%$ $95~\%$

Нехай тестова функція буде якщо прийнято, і якщо відхилено. Madruga та ін. запропонував функцію втрати з . $\varphi$ $1$ $\Theta_0$ $0$ $\Theta_0$

L (θ, φ, x) = {\begin{cases} a (1 - I (θ \in T (x)), & if φ (x) = 0 \\ b + c I (θ \in (T (x)), & if φ (x) = 1, \end{cases}

$L(\theta,\varphi,x) = \begin{cases} a(1-\mathbb{I}(\theta\in T(x)), & \mbox{if } \varphi(x)=0 \\ b+c\mathbb{I}(\theta\in(T(x)), & \mbox{if } \varphi(x)=1, \end{cases}$

a, b, c > 0

$a,b,c>0$

Мінімізація очікуваних втрат призводить до тесту Перейра-Стерна, де відкидається, якщо $\Theta_0$ $P(\theta\notin T(x)|x)<(b+c)/(a+c).$

Поки все добре. Тест Перейра-Стерна еквівалентний тому, щоб перевірити, чи є в регіоні HPD, і чи існує функція втрат, яка генерує цей тест, це означає, що він заснований на теорії рішення. $\theta_0$

Суперечливою частиною є те, що функція втрат залежить від $x$ . Хоча такі функції втрат з'являються в літературі кілька разів, вони не здаються загальноприйнятими як дуже розумні.

Для подальшого читання з цієї теми дивіться перелік робіт, в яких цитується Madruga та ін. стаття .

Оновлення жовтня 2012 року:

Я не був повністю задоволений вищевказаною функцією втрат, оскільки її залежність від робить прийняття рішень більш суб'єктивним, ніж я хотів би. Я витратив трохи більше часу на роздуми над цією проблемою і закінчив писати коротку записку про неї, розміщену на arXiv раніше сьогодні . $x$

Нехай позначає функцію заднього квантиля , так що . Замість наборів HPD ми розглянемо центральний (рівний хвіст) інтервал . Для тестування за допомогою цього інтервалу можна обґрунтувати в теоретичній рамці рішення без функції втрат, яка залежить від . $q_{\alpha}(\theta|x)$ $\theta$ $P(\theta\leq q_{\alpha}(\theta|x))=\alpha$ $(q_{\alpha/2}(\theta|x),q_{1-\alpha/2}(\theta|x))$ $\Theta_0$ $x$

Хитрість полягає в тому, щоб переформулювати проблему тестування гіпотези точки-нуля як проблему трьох рішень із спрямованими висновками. тестується на обидва і . $\Theta_0=\{\theta_0\}$ $\Theta_0$ $\Theta_{-1}=\{\theta:\theta<\theta_0\}$ $\Theta_{1}=\{\theta:\theta>\theta_0\}$

Нехай тестова функція якщо ми приймаємо (зауважимо, що це позначення протилежне використаному вище!). Виявляється, під зваженою функцією втрат Байєса тест - відхилити якщо не знаходиться в центральному інтервалі. $\varphi=i$ $\Theta_i$ $0-1$

L_{2} (θ, φ) = {\begin{cases} 0, & if θ \in Θ_{i} and φ = i, i \in {- 1, 0, 1}, \\ α / 2, & if θ \notin Θ_{0} and φ = 0, \\ 1, & if θ \in Θ_{i} \cup Θ_{0} and φ = - i, i \in {- 1, 1}, \end{cases}

$L_2(\theta,\varphi) = \begin{cases} 0, & \mbox{if } \theta\in\Theta_i\mbox{ and }\varphi=i, \quad i\in \{-1,0,1\}, \\ \alpha/2, & \mbox{if } \theta\notin\Theta_0 \mbox{ and }\varphi=0,\\ 1, & \mbox{if } \theta\in\Theta_{i}\cup\Theta_0 \mbox{ and }\varphi=-i,\quad i\in\{-1,1\},\end{cases}$

Θ_{0}

$\Theta_0$

θ_{0}

$\theta_0$

Це здається мені цілком розумною функцією втрат. Я обговорюю цю втрату, втрату Madruga-Esteves-Wechsler та тестування, використовуючи достовірні набори далі в рукописі на arXiv.

— об. MånsT
джерело

2

(Я відзначаю це як вікі спільноти)

— MånsT

Коли ви говорите "Щоб отримати тест Перейра-Стерн, ми повинні мінімізувати очікувані задні втрати", ну, насправді ми це робимо в будь-якій процедурі рішення Баєса. Різниця тут полягає в тому, що функція втрат залежить від даних (як ви вказали), що не є стандартним. Зазвичай у нас .

L : {P a r a m e t e r S p a c e} \times {A c t i o n s} \to R

$L : \{Parameter\; Space\} \times \{Actions\} \to \mathbb{R}$

— Дзен

@ Zen: Так, звичайно, я це неправильно сформулював. Дякуємо, що вказали на це. :)

— MånsT

3

@ MånsT: (+1) Це цікава відповідь. Я дуже поважаю те, що ви вирішили позначити це як CW у цьому випадку, але я б хотів, щоб у вас цього не було. :-)

— кардинал

8

Я випадково прочитав вашу статтю arXiv до того, як я прийшов до цього питання, і вже написав запис у своєму блозі ( заплановано з’явитися на 8 жовтня ). Підводячи підсумок, я вважаю, що ваша побудова є теоретичною, але також думаю, що це занадто надумано, щоб її рекомендувати, особливо. оскільки це, здається, не вирішує точку-нульову гіпотезу Баєсової задачі тестування, яка традиційно вимагає поставити деяку попередню масу на значення параметра "null".

На думку, рішення, яке ви пропонуєте вище (у оновленнях за жовтень) і як теорема 2 у вашій статті arXiv , не є дійсною процедурою тестування, що приймає три значення, а не два значення, які відповідають прийняти / відхилити. Аналогічно, функція втрат, яку ви використовуєте в теоремі 3 (не відтворена тут), означає тестування однобічної гіпотези , а не точкову гіпотезу . $\varphi$ $H_0: \theta\le\theta_0$ $H_0: \theta= \theta_0$

Однак моє головне питання полягає в тому, що мені здається, що і теорема 3, і теорема 4 у вашому документі arXiv недійсні, коли є гіпотезою з точки зору, тобто коли , без попередньої маси. $H_0$ $\Theta_0=\{\theta_0\}$

— Сіань
джерело

1

Дякуємо (+1) за ваші коментарі! Я дуже з нетерпінням чекаю вашої публікації в блозі. :) Як ви зазначаєте, теореми 3 та 4 стосуються лише складених гіпотез. в теоремі 2 помилка. Він повинен читати , в цьому випадку коли , що відбувається, коли є у достовірному інтервалі. Я якнайшвидше це зміню в рукописі arXiv!

1 - α / 2

$1-\alpha/2$

α / 2

$\alpha/2$

φ = 0

$\varphi=0$

α / 2 < min (P (Θ_{- 1}), P (Θ_{1}))

$\alpha/2<\mbox{min}(P(\Theta_{-1}),P(\Theta_1))$

θ_{0}

$\theta_0$

— MånsT

Ви праві (+1!), Я думав про нерівність інакше! У документі arXiv центральна нерівність записана неправильно. тобто слід прийняти iff

H_{0}

$H_0$

— Сіань

Це добре чути :) Оновлений рукопис (з виправленим Thm 2) з’явиться в arXiv у понеділок. Я зроблю припущення, що також не є нульовим у Thm 4.

Θ_{0}

$\Theta_0$

— MånsT

1

Просто переконайтеся, що з’ясували доказ теореми 2 у документі arXiv: відображена нерівність записана неправильно. тобто слід прийняти iff , а не навпаки!

H_{0}

$H_0$

P (θ \in Θ_{i} | x) > α / 2

$P(\theta\in\Theta_i|x)>\alpha/2$

— Сіань

3

Ви можете використовувати достовірний інтервал (або область HPD) для тестування гіпотез Баєса. Я не думаю, що це звичайне явище; однак, щоб бути справедливим, я не бачу багато і не використовую на практиці формальне тестування гіпотези Байєса. Фактори Байєса періодично використовуються (і в «Байєсівському ядрі» Роберта, дещо хвалившись), у тестуванні гіпотез.

— Фрейджо
джерело

1

Привіт @Fraijo! Не могли б ви трохи розібратися в тому, чим ваша відповідь відрізняється від відповіді Майкла Черника?

— MånsT

2

Я не думаю, що використання факторів Байєса для тестування гіпотези є "випадковим", див., Наприклад, це посилання .

@ MånsT у своєму процесі спостереження за процесом, який описує Майкл, здається, є випробуванням Фактора Байєса. По суті, ви створюєте дві моделі з різними пріорами на основі своєї гіпотези, а потім порівнюєте ймовірність набору даних на основі цих пріорів. Опублікований довідковий Прокранатор дає швидкий огляд цього.

— Fraijo

1

@Procrastinator Я говорив випадково лише тому, що в своїй галузі я бачу мало людей, які використовують байєсівські методи, не кажучи вже про використання байєсівських методів для перевірки гіпотези. Особисто я використовую фактори Байєса, щоб перевірити свої моделі на чутливість до попереднього, що, напевно, є формою тестування гіпотез.

— Fraijo

1

@ MånsT коротка відповідь: ні. Встановлення достовірного інтервалу та з'ясування того, чи він містить нульову гіпотезу, є єдиним прямим тестом, який можна порівняти з тестуванням гіпотез часто. У цього методу є дві проблеми: 1) очевидний факт, що в деяких випадках можна знайти кілька регіонів (наприклад, HPD проти симетричної області), і 2) тестування точкової гіпотези (theta = a) суперечить байєсівському ідеалу параметрів прийняття розподілів (theta ~ P (theta)).

— Фрейджо

1

Достовірний регіон - це просто область, де інтеграл задньої щільності над областю є заданою ймовірністю, наприклад 0,95. Один із способів сформувати тест гіпотези Байєса - перевірити, чи нульове гіпотезоване значення параметрів (ив) потрапляє у достовірну область. Таким чином, ми можемо мати аналогічну відповідність 1-1 між тестами гіпотез та достовірними регіонами, як це роблять частотузі з інтервалами довіри та тестами гіпотез. Але це не єдиний спосіб зробити тестування гіпотез.

— Майкл Р. Черник
джерело

Чи часто такі спеціальні байесівські тести застосовуються на практиці?

— MånsT

1

@MansT Я так не думаю. Я думаю, що зазвичай байєси ставлять попередні шанси на те, що нульова гіпотеза є істинною, а потім ґрунтується на побудові даних заднього шансу. Якщо задні шанси рішуче проти нульової гіпотези, то її відкидають. Я не найкраща людина, яку можна запитати, оскільки я не роблю байєсівського висновку дуже часто.

— Майкл Р. Черник

2

Тест, описаний Майклом, зарахований Ліндлі Зелнером у своїй книзі про байєсівську економетрику.

— Дзен

1

Так, подібні випробування, безумовно, випливають із байєсівських ідей , але я не впевнений, чи мають вони міцну основу в баєсівській теорії рішення . В останньому налаштуванні я очікував би, що тести будуть виведені з функції втрат, яка зазвичай включає тестову функцію.

— MånsT

2

Шановний MånsT, подивіться на цих роботах: mdpi.org/entropy/papers/e1040099.pdf w.ime.usp.br/~jstern/miscellanea/citacoes/swtest1.pdf

— Дзен

-1

Дозвольте дати йому те, як я отримав це, читаючи відповідь Тіма .

Він заснований на поданнях таблиці з гіпотезою (оціночним параметром) у стовпцях та спостереженнях у рядках.

У першій таблиці у вас є ймовірності col, що дорівнюють 1, тобто вони є умовними ймовірностями, стан яких, потрапляючи в події стовпця, подається в нижньому рядку, називається "попереднім". В останній таблиці рядки аналогічно дорівнюють 1, а в середині ви маєте спільні ймовірності, тобто умовні ймовірності, які ви знайдете в першій та останній таблиці, кратну ймовірність умови, пріорі.

Таблиці в основному виконують байєсівську трансформацію: у першій таблиці ви даєте pdf спостережень (рядків) у кожному стовпчику, встановлюєте попереднє для цієї гіпотези (так, стовпець гіпотези - це pdf спостережень за цією гіпотезою), ви робите це для кожного стовпця та таблиці він приймає його спочатку в спільну таблицю ймовірностей, а потім у ймовірності вашої гіпотези, обумовлені спостереженнями.

Оскільки я отримав відповідь Тіма (виправте мене, якщо я помиляюся), підхід Критичного інтервалу дивиться на першу таблицю. Тобто, коли експеримент завершений, ми знаємо рядок таблиці (або голови, або хвостики в моєму прикладі, але ви можете зробити більш складні експерименти, як 100 монет перевернути і отримати таблицю з 2 ^ 100 рядками). Частіенціаліст сканує свої стовпці, що, як я вже сказав, є розподілом можливих результатів за умови, що гіпотеза не відповідає дійсності (наприклад, монета справедлива в моєму прикладі), і відкидає ті гіпотези (стовпці), які мають дуже низьке значення ймовірності при спостерігається ряд.

Баєсіаніст спочатку коригує ймовірності, перетворюючи значки в рядки і, переглядаючи таблицю 3, знаходить рядок спостережуваного результату. Оскільки це також pdf, він проходить ряд результатів експерименту та вибирає гіпетезу з найвищими показниками, поки його кишеня на 95% надійності не заповниться. Решта гіпотези відкидається.

Як вам це подобається? Я все ще в процесі навчання, і графіка мені здається корисною. Я вірю, що я на вірному шляху, оскільки авторитетний користувач дає ту саму картину, коли аналізує різницю двох підходів . Я запропонував графічний вигляд механіки вибору гіпотез.

Я закликаю всіх прочитати цю останню відповідь Кіта, але моя картина механіки тестування гіпотез може негайно сказати, що частоліст не дивиться на іншу гіпотезу, коли перевіряє поточну, тоді як врахування високої достовірності гіпотези сильно впливає на прийом / відхилення інших гіпотез в байесівській Аналіз, тому що якщо у вас є одна гіпотеза, яка трапляється в 95% разів за спостережуваних даних, ви кидаєте всі інші гіпотези негайно, незалежно від того, наскільки добре вміщуються дані в них. Відкладемо убік статистичний аналіз потужності, який протиставляє дві гіпотези на основі їхніх довірчих інтервалів.

Але, здається, я помітив схожість між двома підходами: вони, здається, пов'язані через P(A | B) > P(A) <=> P(B|A) > P(B)власність . В основному, якщо існує залежність між A і B, то це буде виявлятись як кореляція як в частотних, так і в байєсівських таблицях. Отже, роблячи тест на одну гіпотезу, співвідноситься з іншою, вони повинні давати однакові результати. Вивчення коренів кореляції, ймовірно, дасть вам зв’язок між ними. В моєму запитанні я насправді запитую, чому різниця замість абсолютної кореляції?

— Маленький прибулець
джерело