Чому нижчі р-значення не є більшими доказами проти нуля? Аргументи з Йохансона 2011 року

Йоханссон (2011) у " Вітаю неможливе: значення p, докази та ймовірність " (тут також посилання на журнал ) стверджує, що більш низькі часто розглядаються як сильніші докази проти нуля. Йоханссон передбачає, що люди вважають, що докази проти нуля є більш сильними, якби їх статистичний тест видавав -значення , ніж якщо їх статистичний тест отримав -значення . Йохансон перераховує чотири причини, чому -значення не може бути використане як доказ проти нуля:$p$$p$$0.01$$p$$0.45$$p$

1. $p$ розподілено рівномірно під нульовою гіпотезою і тому ніколи не може вказувати на докази нуля.
2. $p$ обумовлений виключно нульовою гіпотезою і тому не підходить для кількісної оцінки доказів, оскільки докази завжди відносні в сенсі того, що вони є доказом для або проти гіпотези щодо іншої гіпотези.
3. $p$ позначає вірогідність отримання доказів (з урахуванням нуля), а не міцність доказів.
4. $p$ залежить від незабезпечених даних та суб'єктивних намірів, а тому, враховуючи доказове тлумачення, означає, що доказова сила спостережуваних даних залежить від того, чого не відбулося, та суб'єктивних намірів.

На жаль, я не можу зрозуміти інтуїтивно зрозуміле зі статті Йохансона. Для мене -значення вказує на те, що менша ймовірність, що нуль справжня, ніж -значення . Чому нижчі -значення не є більш сильними доказами проти нуля? $p$$0.01$$p$$0.45$$p$

Моя особиста оцінка його аргументів:

1. Тут він розповідає про використання як доказів для Null, тоді як його теза полягає в тому, що p не може бути використаний як доказ проти Null. Отже, я вважаю, що цей аргумент багато в чому не має значення.$p$$p$
2. Я думаю, що це непорозуміння. Фіширське тестування рішуче випливає з ідеї критичного раціоналізму Поппера, яка стверджує, що ви не можете підтримувати теорію, а лише критикувати її. Тож у цьому сенсі існує лише одна гіпотеза (Null), і ви просто перевіряєте, чи відповідають ваші дані.$p$
3. Я тут не згоден. Це залежить від статистики тесту, але зазвичай є перетворенням розміру ефекту, що говорить проти Null. Отже, чим більший ефект, тим менше значення р --- всі інші речі рівні. Звичайно, для різних наборів даних або гіпотез це більше не діє. $p$
4. Я не впевнений , що я повністю розумію це твердження, але від того, що я можу зібрати це менше , проблема як людей , що використовують його неправильно. p повинен був мати довгострокову інтерпретацію частоти, і це особливість, а не помилка. Але ви не можете звинувачувати p у тому, що люди приймають єдине значення p як доказ своєї гіпотези, або люди, які публікують лише p < .05 . $p$$p$$p$$p$$p<.05$

Його пропозиція використовувати коефіцієнт ймовірності в якості міри доказів, на мою думку, є гарною (але тут ідея фактора Байєса є загальнішою), але в контексті, в якому він приносить це, дещо властиво: Спочатку він залишає підстави рибного тестування, коли немає альтернативної гіпотези для обчислення коефіцієнта ймовірності. Але в якості доказу проти Null є Fisherian. Звідси він бентежить Фішера та Неймана-Пірсона. По-друге, більшість тестових статистичних даних, які ми використовуємо, є (функціями) коефіцієнта ймовірності, і в цьому випадку p є перетворенням коефіцієнта ймовірності. Як стверджує Косма Шалізі :$p$$p$

серед усіх випробувань заданого розміру , те, що має найменшу ймовірність пропуску або найвищу потужність, має форму "сказати" сигнал ", якщо q ( x ) / p ( x ) > t ( s ) , інакше сказати" шум " , "і що поріг t змінюється обернено з s . Кількість q ( x ) / p ( x ) - коефіцієнт ймовірності; лемма Неймана-Пірсона говорить, що для максимізації потужності нам слід сказати "сигнал", якщо це достатньо ймовірніше, ніж шум.$s$$q(x)/p(x) > t(s)$$t$$s$$q(x)/p(x)$

Тут - щільність під станом "сигнал", а p ( x ) - щільність при стані "шум". Тут мірою для "досить вірогідного" буде P ( q ( X ) / p ( x ) > t o b s ∣ H 0 ), який є p . Зауважимо, що при правильному тестуванні Неймана-Пірсона t o b s заміщений фіксованим t ( s ) таким, що $q(x)$$p(x)$$P(q(X)/p(x) > t_{obs} \mid H_0)$$p$$t_{obs}$$t(s)$ . $P(q(X)/p(x) > t(s) \mid H_0)=\alpha$

Причина того, що такі аргументи, як Йоханссон, переробляються настільки часто, схоже, пов'язана з тим, що P-значення є індексами доказів проти нуля, але не є мірою доказів. Докази мають більше вимірів, ніж будь-яке одне число може виміряти, і тому завжди є аспекти взаємозв'язку між значеннями Р і доказами, які люди можуть знайти важкими.

Я переглянув багато аргументів, які використовував Йоханссон у роботі, в якій відображається взаємозв'язок між значеннями Р та ймовірними функціями, і, таким чином, підтверджую: http://arxiv.org/abs/1311.0081 На жаль, папір зараз тричі відхилено, хоча його аргументи та докази для них не спростовані. (Схоже, суддям, які дотримуються такої думки, як Йохансон, неприємно, як неприємно).

Додавання до приємної відповіді @ Momo:

$1$

Чи Йоханссон говорить про p-значеннях з двох різних експериментів? Якщо так, порівняння p-значень може бути подібним до порівняння яблук із котлетами баранячого. Якщо експеримент "А" передбачає величезну кількість зразків, навіть невелика непослідова різниця може бути статистично значущою. Якщо експеримент "В" включає лише кілька зразків, важлива різниця може бути статистично незначною. Ще гірше (тому я сказав, що баранина баранина, а не апельсини), терези можуть бути абсолютно незрівнянними (фунт / кв.дюйм в одній і кВт / год в іншій).