Чи менші р-значення більш переконливі?

Я читав на , коефіцієнтах помилок типу 1, рівнях значущості, обчисленні потужності, розмірах ефектів та дебатах Фішера проти Неймана-Пірсона. Це залишило мене відчуття трохи переповненого. Прошу вибачення за стіну тексту, але я вважав, що потрібно надати огляд мого сучасного розуміння цих понять, перш ніж перейти до своїх актуальних питань.$p$

З того, що я зібрав, -значення - це просто міра здивування, ймовірність отримання результату хоча б настільки ж екстремальної, враховуючи, що нульова гіпотеза справжня. Спочатку Фішер мав на меті бути суцільним заходом.$p$

У рамках Неймана-Пірсона ви заздалегідь вибираєте рівень значущості та використовуєте це як (довільну) точку відсічення. Рівень значущості дорівнює частоті помилок типу 1. Це визначається частотою довгого запуску, тобто якщо ви повторили б експеримент 1000 разів і нульова гіпотеза вірна, приблизно 50 з цих експериментів призвели б до значного ефекту через мінливості вибірки. Вибираючи рівень значущості, ми захищаємо себе від цих помилкових позитивів з певною вірогідністю. -значення традиційно не відображаються в цих рамках.$P$

Якщо ми знайдемо -значення 0,01, це не означає, що коефіцієнт помилок типу 1 дорівнює 0,01, помилка типу 1 заявляється апріорі. Я вважаю, що це один з головних аргументів у дебатах Фішера проти НП, оскільки часто повідомляються як 0,05 *, 0,01 **, 0,001 ***. Це може ввести людей в оману, кажучи, що ефект є значним при певній значенні p , а не при певному значущому значенні.$p$$p$$p$

Я також усвідомлюю, що значення $p$ значення є функцією розміру вибірки. Тому його не можна використовувати як абсолютний вимір. Невелике $p$ -значення може вказувати на невеликий, нерелевантний ефект у великому експерименті зразка. Щоб протистояти цьому, важливо провести розрахунок розміру потужність / ефект при визначенні розміру вибірки для вашого експерименту. $P$ -значення говорять нам про те, чи є ефект, а не наскільки він великий. Дивіться Sullivan 2012 .

Моє запитання: Як я можу погодити факти, що $p$ -значення є мірою здивування (менший = більш переконливий), і в той же час його не можна розглядати як абсолютний показник?

Що мене бентежить, це таке: чи можемо ми бути впевненішими у малому -значенні, ніж у великому? У фішерському сенсі я б сказав так, ми більше здивовані. У рамках НП вибір меншого рівня значущості означатиме, що ми сильніше захищаємо себе від помилкових позитивних результатів.$p$

Але з іншого боку, -значення залежать від розміру вибірки. Вони не є абсолютною мірою. Таким чином, ми не можемо просто сказати, що 0,001593 є більш значущим, ніж 0,0439. І все-таки, що мається на увазі в рамках Фішера: ми були б більш здивовані такому надзвичайному значенню. Існує навіть дискусія про те, що термін є дуже значущим як неправильне слово : чи неправильно називати результати "високозначущими"?$p$

Я чув, що в деяких галузях науки вважаються важливими лише тоді, коли вони менші за 0,0001, тоді як в інших галузях значення приблизно 0,01 вже вважаються дуже значущими.$p$

Пов’язані запитання:

• Чи справді "гібрид" між Фішером та Нейманом-Пірсоном підходи до статистичного тестування справді є "невідповідним мешметом"?

• Коли використовувати рамку Фішера та Неймана-Пірсона?

• Чи точне значення 'p-значення' безглуздо?

• Частотні властивості p-значень стосовно помилки I типу

• Інтервали довіри та значення P для двох засобів

• Чому нижчі р-значення не є більшими доказами проти нуля? Аргументи від Йохансона 2011 (надано @amoeba)

Чи менші -значення "більш переконливі"? Так, звичайно, є.$p$

У рамках Фішера -значення - це кількісна оцінка кількості доказів проти нульової гіпотези. Докази можуть бути більш-менш переконливими; чим менша р -значення, тим вона переконливіша. Слід зазначити , що в будь-якому даному експерименті з фіксованим розміром вибірки п , то р -значення монотонно залежить від розміру ефекту, так як @Scortchi красиво вказує у своїй відповіді (+1). Так менші р-значення відповідають більшим розмірам ефекту; звичайно, вони переконливіші!$p$$p$$n$$p$$p$

У рамках Неймана-Пірсона мета - отримати бінарне рішення: або докази є "значущими", або їх немає. Вибираючи поріг , ми гарантуємо, що у нас не буде більше α помилкових позитивних результатів. Зауважте, що різні люди можуть мати різні значення α при перегляді одних і тих же даних; можливо, коли я читаю статтю з поля, до якого я скептично ставлюсь, я особисто не вважаю «значущими» результати, наприклад, p = 0,03, хоча автори називають їх значущими. Моя особиста α може бути встановлена ​​на 0,001 або щось інше. Очевидно, що нижчий повідомлений $\alpha$$\alpha$$\alpha$$p=0.03$$\alpha$$0.001$$p$-значу, тим більш скептично налаштованих читачів це зможе переконати! Отже, знову ж таки, нижчі -значення є більш переконливими.$p$

В даний час стандартна практика полягає в поєднанні підходів Фішера і Неймана-Пірсона: якщо , то результати називаються "значущими", а р -значення [точно або приблизно] повідомляється і використовується як міра переконливості (відмічаючи його із зірками, використовуючи вирази як «дуже значущі» тощо); якщо p > α , то результати називаються "несуттєвими" і це все.$p<\alpha$$p$$p>\alpha$

Зазвичай це називається "гібридним підходом", і справді це гібрид. Деякі люди стверджують, що цей гібрид є некогерентним; Я схильний не погоджуватися. Чому було б недійсно робити дві дійсні речі одночасно?

Подальше читання:

• Чи справді "гібрид" між Фішером та Нейманом-Пірсоном підходи до статистичного тестування справді є "невідповідним мешметом"? - моє запитання про "гібрида". Це породило певну дискусію, але я все ще не задоволений жодною з відповідей, і я планую в якийсь момент повернутися до цієї теми.

• Чи неправильно називати результати "високими значеннями"? - дивіться мою вчорашню відповідь, яка по суті говорить: вона не помиляється (але, можливо, трохи неохайно).

• $p$

Я не знаю, що мається на увазі, коли менші р-значення "кращі" чи ми "впевненіші в них". Але стосовно p-значень як міри того, наскільки нас би дивували дані, якщо ми вважаємо нульовою гіпотезою, здається досить розумною; p-значення є монотонною функцією обраної статистики тестудля вимірювання невідповідності нульової гіпотези в напрямку, яке вас цікавить, калібрування її відповідно до її властивостей за відповідною процедурою відбору проб з популяції або випадкового призначення експериментальних методів лікування. "Значущість" стала технічним терміном для позначення p-значень, що знаходяться вище або нижче деякого визначеного значення; таким чином, навіть ті, хто не зацікавлений у визначенні рівнів значущості та прийнятті чи відхиленні гіпотез, як правило, уникають фраз, таких як "високозначущі" - більш дотримання конвенції.

Що стосується залежності р-значень від розміру вибірки та розміру ефекту, можливо, виникає деяка плутанина, тому що, наприклад, може здатися, що 474 голови з 1000 кидок повинні бути менш дивними, ніж 2 з 10 для того, хто вважає монету справедливою - адже Частка вибірки лише колись відхиляється від 50% у першому випадку, але значення р приблизно однакові. Але правдиві чи хибні не визнають ступенів; p-значення робить те, що про це задається: часто довірчі інтервали для параметра є дійсно тим, що хочеться оцінити, наскільки точно виміряно ефект, і практичну або теоретичну важливість його оціночної величини.

Дякую за коментарі та запропоновані читання. У мене було ще трохи часу, щоб задуматися над цією проблемою, і я вважаю, що мені вдалося виділити основні джерела плутанини.

• Спочатку я думав, що існує дихотомія між переглядом значення р як міри подив, а не заявляючи, що це не абсолютна міра. Тепер я розумію, що ці твердження не обов'язково суперечать одне одному. Перший дозволяє нам бути більш-менш впевненими у крайності (навіть неправдоподібності?) Спостережуваного ефекту порівняно з іншими гіпотетичними результатами того ж експерименту. Тоді як останній говорить лише про те, що те, що можна вважати переконливим значенням p в одному експерименті, в іншому експерименті може взагалі не вражати, наприклад, якщо розміри вибірки відрізняються.

• Те, що в деяких галузях науки використовують різну базову лінію сильних p-значень, може бути або відображенням різниці загальних розмірів вибірки (астрономія, клінічні, психологічні експерименти) та / або спробою передати розмір ефекту в p- значення. Але останнє - неправильне співвідношення двох.

• Значущість - це питання «так / ні» на основі альфа, обраної до експерименту. Отже, значення p не може бути більш значущим, ніж інше, оскільки вони або менші, або більші за обраний рівень значущості. З іншого боку, менша р-величина буде більш переконливою, ніж більша (для аналогічного розміру вибірки / ідентичного експерименту, про який говорилося в моєму першому пункті).

• Інтервали довіри по суті передають розмір ефекту, що робить їх приємним вибором для захисту від згаданих вище проблем.

Значення р не може бути мірою здивування, оскільки це лише міра ймовірності, коли нуль відповідає дійсності. Якщо нуль істинний, то кожне можливе значення p однаково вірогідне. Не можна дивуватися жодному p-значенню, перш ніж вирішити відхилити нуль. Як тільки хто вирішить, що виникає ефект, значення р-значення зникає. Один лише повідомляє про це як ланку у відносно слабкій індуктивній ланцюзі, щоб виправдати відмову від нуля чи ні. Але якщо він був відхилений, він насправді більше не має жодного значення.