Чому обмеження, що використовуються для коефіцієнтів Баєса та p-значень, настільки різні?

Я намагаюся зрозуміти фактор Байєса (BF). Я вважаю, що це як співвідношення ймовірності 2 гіпотез. Отже, якщо BF дорівнює 5, це означає, що H1 в 5 разів частіше, ніж H0. А значення 3-10 вказує на помірні докази, тоді як> 10 вказує на вагомі докази.

Однак для P-значення традиційно 0,05 приймається як граничне значення. При цьому значенні P співвідношення ймовірності H1 / H0 повинно бути приблизно 95/5 або 19.

Отже, чому для BF віднімається відрізок> 3, тоді як для P значень відсікається> 19? Ці значення також ніде не є близькими.

— rnso
джерело

Мені незручно говорити "якщо BF

, це означає, що

разів частіше, ніж

". Коефіцієнт Байєса може бути граничним коефіцієнтом ймовірності, але це не коефіцієнт ймовірності чи коефіцієнт шансів, і його потрібно поєднувати з тим, щоб бути корисним

5

$5$

H_{1}

$H_1$

5

$5$

H_{0}

$H_0$

— Генрі

Якщо у нас немає якоїсь конкретної попередньої інформації, то що можна сказати про значення BF?

— rnso

Безумовно, у кожного є "якась" попередня інформація, навіть якщо сказати, що немає жодної конкретної попередньої інформації. А саме в цьому випадку доцільно присвоювати однакові ймовірності кожній гіпотезі за принципом байдужості. Це простий приклад так званого неінформативного попереднього (правда, неправильного).

— dnqxt

У цьому випадку BF з 5 вказуватиме на те, що одна гіпотеза буде в 5 разів частіше?

— rnso

Так, але ця проблема є набагато складнішою, ніж може здатися, і потрапляє в область вибору моделі статистики. Вас попередили :))

— dnqxt

Відповіді:

Кілька речей:

BF дає вам свідчення на користь гіпотези, в той час як тест частої гіпотези дає свідчення проти (нульової) гіпотези. Отже, це свого роду "яблука до апельсинів".

Ці дві процедури, незважаючи на різницю тлумачень, можуть спричинити різні рішення. Наприклад, BF може відхилити, коли тест частої гіпотези не робить, або навпаки. Ця проблема часто називається парадоксом Джеффріс-Ліндлі . На цьому сайті було багато дописів; див., наприклад, тут , і тут .

"При цьому значенні P вірогідність H1 / H0 повинна становити 95/5 або 19." Ні, це неправда, тому що, приблизно, $p(y \mid H_1) \neq 1- p(y \mid H_0)$ . Обчислення p-значення та проведення тесту частого проведення, як мінімум, не вимагає від вас жодного уявлення про $p(y \mid H_1)$ . Також p-значення часто є інтегралами / сумами щільності / pmfs, тоді як BF не інтегрується через пробний простір даних.

— Тейлор
джерело

Тейлор каже, що поріг доказів проти однієї гіпотези (

) не може бути безпосередньо порівняний з порогом доказів для іншої гіпотези (

), також не приблизно. Коли ви перестаєте вірити в нульовий ефект, не потрібно стосуватися того, коли ви починаєте вірити в альтернативу. Саме тому

-значення не слід тлумачити як

H_{0}

$\text{H}_0$

H_{1}

$\text{H}_1$

p

$p$

1 - ({belief in H}_{1})

$1 - (\text{belief in H}_1)$

— Frans Rodenburg

Можливо, це може бути уточнювальним: en.wikipedia.org/wiki/Misunderstandings_of_p-values Частота

значення не є мірою доказів ні для чого.

p

$p$

— Франс Роденбург

Вибачте, останній коментар: Причина, по якій ви не можете бачити це як доказ на користь

полягає в тому, що це шанс спостерігати за цим великим розміром ефекту, якщо

було б правдивим. Якщо

справді вірно, значення

-значення повинно бути рівномірно випадковим, тому його значення не має значення щодо ймовірності

. Ця тонкість тлумачення є, до речі, однією з причин

-значень бачити стільки неправильного використання.

H_{1}

$\text{H}_1$

H_{0}

$\text{H}_0$

H_{0}

$\text{H}_0$

p

$p$

H_{1}

$\text{H}_1$

p

$p$

— Франс Роденбург

@benxyzzy: розподіл

-значення є рівномірним лише під нульовою гіпотезою, а не під альтернативою, коли він сильно перекошений до нуля.

p

$p$

— Сіань

@benxyzzy Щоб додати до інших: Сенс використання

-значення полягає в тому, що під нульовою гіпотезою воно рівномірно випадкове, тому якщо ви отримаєте дуже мале

-значення, це натякає, що, можливо, воно не було рівномірно випадковим, тому, можливо, нуль гіпотеза була неправдою.

p

$p$

p

$p$

— JiK

Байеса фактор $B_{01}$ може бути перетворена у відповідності з ймовірністю рівними вагами , як

П_{01} = \frac{1}{1 + \frac{1}{Б_{01}}}

$P_{01}=\frac{1}{1+\frac{1}{\large B_{01}}}$ але це не робить їхпорівнянними з

p

$p$ значенням,оскільки

$P_{01}$ - вірогідність у просторі параметрів, а не в просторі вибірки
його значення і діапазон залежить від вибору попереднього вимірювання, вони , таким чином , відносне , а не абсолютне (і згадка Тейлора в парадокс Линдли-Jeffreys доречно на даному етапі )
і $B_{01}$ і $P_{01}$ містять штраф за складність (бритва Оккама) шляхом інтеграції через простір параметрів

Якщо ви хочете розглянути байєсівський еквівалент $p$ -значення, слід дослідити заднє прогностичне $p$ -значення (Meng, 1994)

Q_{01} = П (Б_{01} (Х) \leq Б_{01} (х^{обс}))

$Q_{01}=\mathbb P(B_{01}(X)\le B_{01}(x^\text{obs}))$ де

x^{obs}

$x^\text{obs}$ позначає спостереження і

X

$X$ розподіляються від заднього передбачуваного

Х \sim \int_{Θ} f (х | θ) π (θ | х^{обс}) г θ

$X\sim \int_\Theta f(x|\theta) \pi(\theta|x^\text{obs})\,\text{d}\theta$ але це не означає, щодо цього об'єкта повинні застосовуватисяоднакові критерії відхилення тазначущість.

— Сіань
джерело

Використовуючи формулу, P для BF 3 та 10 виходить відповідно 0,75 та 0,91. Чому ми повинні сприймати їх як помірні докази, оскільки для значення P ми залишаємося відрізаними 0,95?

— rnso

0.95

$0.95$

Формула виглядає простішеP = B/(B+1)

— rnso

Деякі ваші плутанини можуть виникнути внаслідок отримання числа 95/5 безпосередньо з того, що значення р дорівнює 0,05 - це ви робите? Я не вірю, що це правильно. Наприклад, значення p для t-тесту відображає шанс отримати спостережувану різницю між засобами або більш екстремальну різницю, якщо нульова гіпотеза насправді відповідає дійсності. Якщо ви отримаєте значення ap 0,02, ви скажете "ах, є лише 2% шансу отримати подібну різницю, або більша різниця, якщо нульова правда. Це здається дуже малоймовірним, тому я пропоную, що нуль не відповідає дійсності! '. Ці числа - це не те саме, що входить в коефіцієнт Байєса, це співвідношення задніх ймовірностей, що даються кожній конкуруючій гіпотезі. Ці задні ймовірності не обчислюються так само, як значення p,

Як бічну зауваження, я б запропонував сильно захищатись від думки про різні значення BF як про конкретні речі. Ці завдання абсолютно довільні, як і рівень значущості .05. Такі проблеми, як p-хакерство, виникнуть так само легко, як і у факторів Бейса, якщо люди почнуть вірити, що лише певна кількість вимагає врахування. Спробуйте зрозуміти їх такими, які вони є, що є чимось на зразок відносних ймовірностей, і використовуйте власний сенс, щоб визначити, чи вважаєте ви номер BF переконливим доказом чи ні.

— Джеймі
джерело