Чи точне значення 'p-значення' безглуздо?

Я мав дискусію зі статистиком ще в 2009 році, де він заявив, що точне значення р-значення не має значення: важливо лише те, чи є воно важливим чи ні. Тобто один результат не може бути більш значущим, ніж інший; наприклад, ваші зразки походять або з однієї популяції, або ні.

У мене є деякі труднощі з цим, але, можливо, я можу зрозуміти ідеологію:

1. Поріг 5% є довільним, тобто p = 0,051 не є значущим і p = 0,049 є, не повинен насправді змінювати висновок вашого спостереження чи експерименту, незважаючи на те, що один результат є значущим, а інший - незначним.

   Причиною цього я зараз є те, що я навчаюсь на магістр біоінформатики, і після розмови з людьми в цій галузі, здається, є рішучий потяг отримати точне значення p для кожного набору статистичних даних, які вони роблять. Наприклад, якщо вони 'досягають' р-значення p <1,9 × 10 ^-12 , вони хочуть продемонструвати, ЯКІ ВІДПОВІДНІ їх результати, і що цей результат є СУПЕР інформативним. Це питання на прикладі таких питань, як: Чому я не можу отримати значення p менше 2,2e-16? , завдяки чому вони хочуть записати значення, яке вказує на те, що лише випадково це було б набагато менше 1 на трильйон. Але я бачу невелику різницю в тому, щоб продемонструвати, що цей результат відбудеться менше 1 на трильйон, а не 1 на мільярд.

2. Тоді я можу оцінити, що р <0,01 показує, що існує менше 1% шансів на те, що це відбудеться, тоді як р <0,001 вказує на те, що такий результат є навіть більш неправдоподібним, ніж згадане вище значення p, але якщо ваші висновки мають бути повністю інший? Адже вони обидва значущих p-значень. Єдиний спосіб я можу побажати записати точне р-значення - це під час корекції Бонферроні, внаслідок чого поріг змінюється через кількість проведених порівнянь, тим самим зменшуючи помилку I типу. Але навіть все-таки, чому ви хочете показати значення р, яке на 12 порядків менше, ніж ваша порогова значущість?

3. І чи не застосовується корекція Бонферроні сама по собі трохи довільно? У тому сенсі, що спочатку виправлення вважається дуже консервативним, і тому є інші виправлення, які можна вибрати для доступу до рівня значущості, який спостерігач міг би використати для своїх численних порівнянь. Але через це не той момент, коли щось стає суттєво змінним залежно від того, яку статистику дослідник хоче використовувати. Чи повинна статистика така відкрита для тлумачення?

На закінчення, чи не повинна стати статистика менш суб’єктивною (хоча, мабуть, необхідність її суб'єктивності є наслідком багатоваріантної системи), але, врешті-решт, я хочу уточнити: чи може щось бути більш значущим, ніж щось інше? І чи буде p <0,001 достатньо стосовно спроби записати точне p-значення?

1. Швидкість помилки відхилення типу 1 / помилкового відхилення не є абсолютно довільною, але так, вона близька. Це дещо краще, ніж α = .051, оскільки він менш когнітивно складний ( людям подобаються круглі числа і кратні п'ять ). Це гідний компроміс між скептицизмом та практичністю, хоча, можливо, трохи застарілим - сучасні методи та ресурси дослідження можуть зробити більш високими стандарти (тобто нижчі значення p ), якщо стандарти повинні бути ^{( Johnson, 2013 )} .$\alpha=.05$$\alpha=.051$$p$

   ІМО, більша проблема, ніж вибір порогу, - це часто не вивчений вибір використання порогу, коли це не потрібно чи корисно. У ситуаціях, коли потрібно зробити практичний вибір, я бачу цінність, але багато основних досліджень не потребують рішення про відхилення доказів і відмову від можливості відхилити нуль лише тому, що докази даного зразка проти нього не вистачають. майже будь-якого розумного порогу. І все-таки значна частина авторів цього дослідження відчуває зобов'язання зробити це умовно і протистояти цьому незручно, придумуючи такі терміни, як "граничне" значення, щоб просити уваги, коли вони можуть відчути, що воно вислизає, оскільки їх аудиторії часто не піклуються про s ≥ . 05 .$p$$\ge.05$$p$інтерпретація значень, ви побачите безліч розбіжностей щодо інтерпретації значень бінарними / рішеннями щодо нуля.$p$fail toreject

2. Зовсім інше - ні. Значно інше - можливо. Однією з причин показувати смішно мале значення є вказівка ​​інформації про розмір ефекту. Звичайно, просто розмір ефекту звітності буде набагато кращим з кількох технічних причин, але автори часто не розглядають цю альтернативу, і аудиторії, можливо, менш знайомі з нею. У нульово-гіпотетичному світі, де ніхто не знає, як повідомляти про розміри ефекту, найчастіше можна мати рацію, здогадуючись, що менший p означає більший ефект. Якою б мірою цей нульово-гіпотетичний світ був ближчий до реальності, ніж протилежний, можливо, є якась цінність у повідомленні точних p s цієї причини. Будь ласка, зрозумійте, що ця суть є чистою пропагандою диявола ...$p$$p$$p$

   Ще одне застосування точних з , що я дізнався, беручи участь в дуже схожому дискусії тут як індекси функцій правдоподібності. Дивіться коментарі та статтю Майкла Лева ^{( Lew, 2013 ),} пов’язані у моїй відповіді на " Приміщення закріплених поглядів p-значень ".$p$

3. Я не думаю, що корекція Бонферроні насправді є таким самим видом. Він виправляє поріг, який, на мою думку, ми погоджуємось, принаймні близький до цілком довільного, тому він не втрачає жодної з цієї основної довільності, але я не думаю, що це додає до рівняння нічого довільного. Виправлення визначено логічним, прагматичним способом, і для незначних змін до більших чи менших виправлень, здається, потрібні досить складні аргументи, щоб виправдати їх як більше, ніж довільні, тоді як я думаю, було б легше аргументувати коригування не маючи подолати будь-яку глибоко привабливу, але просту логіку в ній.$\alpha$

   Якщо що, я думаю, що значення повинні бути більш відкритими для тлумачення! Тобто, чи дійсно нуль корисніший за альтернативу, має залежати більше, ніж просто докази проти нього, включаючи витрати на отримання більшої інформації та додаткову додаткову цінність більш точних знань, отриманих таким чином. Це, по суті, фішарська ідея без порогових даних, яка, як почалося, AFAIK. Див. " Щодо p-значень, чому 1% та 5%? Чому б не 6% чи 10%? "$p$

fail toreject$p$-цінні звіти? (а чому R ставить мінімум на 2.22e-16?) "- це набагато краще, ніж відповіді на версію цього питання, яку ви пов’язали на Stack Overflow!

<sup>Список літератури
- Johnson, VE (2013). Переглянуті стандарти статистичних даних. Праці Національної академії наук, 110 (48), 19313–19317. Отримано з http://www.pnas.org/content/110/48/19313.full.pdf .
- Lew, MJ (2013). До P чи ні до P: Про доказовий характер P-значень та їх місце в науковому висновку. arXiv: 1311.0081 [стат.МЕ]. Отримано з http://arxiv.org/abs/1311.0081 .</sup>

It seems to me that, if a value is meaningful, its exact value is meaningful.

The p value answers this question:

Якщо в популяції, з якої цей зразок був виведений випадковим чином, нульова гіпотеза була вірною, яка ймовірність отримати тестову статистику принаймні такою ж крайньою, як та, яку ми отримали у вибірці?

Що з цього визначення робить безглузде точне значення?

Це інше питання, ніж питання про екстремальні значення p. Проблема з твердженнями, що включають p з багатьма 0, полягає в тому, наскільки добре ми можемо оцінити p в крайностях. Оскільки ми не можемо зробити це дуже добре, немає сенсу використовувати такі точні оцінки p. Це та сама причина, по якій ми не говоримо, що p = 0,0319281010012981. Ми не знаємо цих останніх цифр з упевненістю.

Чи повинні наші висновки відрізнятися, якщо p <0,001, а не p <0,05? Або, якщо використовувати точні числа, чи повинні наші висновки відрізнятися, якщо p = 0,00023, а не p = 0,035?

I think the problem is with how we typically conclude things about p. We say "significant" or "not significant" based on some arbitrary level. If we use these arbitrary levels, then, yes, our conclusions will be different. But this is not how we should be thinking about these things. We should be looking at the weight of evidence and statistical tests are only part of that evidence. I will (once again) plug Robert Abelson's "MAGIC criteria":

Magnitude - how big is the effect?

Articulation - how precisely is it stated? Are there lots of exceptions?

Generality - to what group does it apply?

Interestingness - will people care?

Credibility - does it make sense?

It is the combination of all of these that matters. Note that Abelson doesn't mention p values at all, although they do come in as a sort of hybrid of magnitude and articulation.