Чи справді "гібрид" між Фішером та Нейманом-Пірсоном підходами до статистичного тестування є справді "невідповідним мешметом"?

Існує певна школа думки, згідно з якою найпоширенішим підходом до статистичного тестування є "гібрид" між двома підходами: підходом Фішера та Нейманом-Пірсоном; ці два підходи, стверджує твердження, "несумісні", а отже, отриманий "гібрид" є "невідповідним мешматом". Я надам бібліографію та деякі цитати нижче, але поки що досить сказати, що про це багато написано у статті вікіпедії про тестування статистичних гіпотез . Тут, на CV, цей пункт неодноразово робив @Michael Lew (див. Тут і тут ).

Моє запитання: чому твердження про F та NP вважаються несумісними і чому гібрид вважається невідповідним? Зауважте, що я прочитав щонайменше шість антигібридних статей (див. Нижче), але все ще не розумію проблеми чи аргументу. Зауважте також, що я не пропоную обговорювати, чи F чи NP є кращим підходом; ні я не пропоную обговорювати рамки частотистських та байесівських. Натомість питання: якщо визнати, що і F, і NP є дійсними та осмисленими підходами, що так поганого в їх гібриді?

Ось як я розумію ситуацію. Підхід Фішера полягає в тому, щоб обчислити -значення і прийняти його як доказ проти нульової гіпотези. Чим менше , тим переконливіші докази. Дослідник повинен поєднувати ці докази зі своїми основними знаннями, вирішувати, чи достатньо переконливо , і діяти відповідно. (Зверніть увагу, що погляди Фішера змінювались з роками, але це, наче він, врешті-решт, сформувався.) На противагу цьому, підхід Неймана-Пірсона полягає у виборі заздалегідь, а потім у перевірці, чиp α p ≤ $p$$p$$\alpha$$p\le\alpha$; якщо так, назвіть це суттєвим і відкиньте нульову гіпотезу (тут я опускаю значну частину історії НП, яка не має значення для поточної дискусії). Дивіться також відмінну відповідь від @gung у розділі Коли використовувати рамки Фішера та Неймана-Пірсона?

Гібридний підхід полягає у обчисленні -значення, звітуванні про нього (неявно припускаючи, що чим менший, тим кращий), а також називати результати значущими, якщо (зазвичай ), і неістотні в іншому випадку. Це, мабуть, непослідовно. Як не можна робити одночасно дві дійсні речі, мене б'є.p ≤ α α = $p$$p\le\alpha$$\alpha=0.05$

Як особливо непослідовні антигібридисти розглядають поширену практику звітування значень як , або (або навіть ), де завжди вибирається найсильніша нерівність. Аргументом здається, що (a) достовірність доказів не може бути належним чином оцінена, оскільки точний не повідомляється, і (b) люди прагнуть інтерпретувати праворучне число в нерівності як і розглядати його як помилку типу I ставка, і це неправильно. Я не бачу тут великої проблеми. По-перше, звітування про точний , безумовно, є кращою практикою, але нікого насправді не цікавить, якщо є, наприклад, абоp < 0,05 p < 0,01 p < 0,001 p ≪ 0,0001 p α p p 0,02 0,03 ∼ 0,0001 0,05 α = 0,05 p ≠ α $p$$p<0.05$$p<0.01$$p<0.001$$p\ll0.0001$$p$$\alpha$$p$$p$$0.02$$0.03$ , тому округлення його за шкалою журналу не так вже й погано (а переходити нижче одно не має сенсу, див. Як слід повідомляти про крихітні p-значення? ). По-друге, якщо консенсус називає все, що нижче значущим, то коефіцієнт помилок буде і , як пояснює @gung в Інтерпретації p-значення при тестуванні гіпотез . Незважаючи на те, що це потенційно заплутане питання, воно не вражає мене як більш заплутане, ніж інші питання статистичного тестування (поза гібридом). Крім того, кожен читач може мати на увазі власну улюблену під час читання гібридного паперу та власний показник помилок як наслідок.$\sim 0.0001$$0.05$$\alpha=0.05$$p \ne \alpha$$\alpha$То в чому ж велика справа?

Однією з причин, які я хочу задати це питання, є те, що буквально боляче бачити, скільки статті Вікіпедії про тестування статистичної гіпотези присвячено гібридному гібриду. Слідом за Halpin & Stam, він стверджує, що винен певний Lindquist (навіть у великому скануванні його підручника із "помилками", виділеними жовтим кольором), і, звичайно, стаття wiki про самого Ліндквіста починається з того ж звинувачення. Але тоді, можливо, мені щось не вистачає.

Список літератури

• Gigerenzer, 1993 р., Суперего, Его та ІД в статистичні міркування - ввели термін "гібрид" і назвали його "невідповідним мішмашем"

  • Дивіться також новіші експозиції Gigerenzer et al .: напр. Mindless statistics (2004) та The Null Ritual. Що ви завжди хотіли знати про тестування значущості, але не боялися запитати (2004).

• Коен, 1994, "Земля кругла" ( )$p<.05$ - дуже популярний документ з майже 3-кратними цитатами, здебільшого про різні питання, але прихильно цитуючи Гігерензера

• Гудман, 1999, До медичної статистики на основі доказів. 1: Помилковість P значення

• Hubbard & Bayarri, 2003, Плутанина щодо доказів ( 's) проти помилок ( ' s) у класичному статистичному тестуванні$p$$\alpha$ - одна з найбільш красномовних праць, що сперечаються проти "гібриду"

• Halpin & Stam, 2006, Індуктивна поведінка або індуктивна поведінка: підходи Фішера та Неймана-Пірсона до статистичних випробувань в психологічних дослідженнях (1940-1960) [безкоштовно після реєстрації] - звинувачує підручник Ліндквіста 1940 року у впровадженні "гібридного" підходу

• @Michael Lew, 2006, Погана статистична практика у фармакології (та інших основних біомедичних дисциплінах): ти, мабуть, не знаєш Р - хороший огляд та огляд

Цитати

Гігеренцер: Те, що стало інституціоналізованим як інфекційна статистика в психології, - це не фішерська статистика. Це непослідовна мешанка деяких ідей Фішера з одного боку, а інших - Неймана та Е.С. Пірсона - з іншого. Я називаю цю суміш "гібридною логікою" статистичного висновку.

Гудман: Тестовий підхід [Неймана-Пірсона] запропонував вченим фаустівську угоду - здавалося б, автоматичний спосіб обмежити кількість помилкових висновків у перспективі, але лише відмовившись від можливості вимірювати докази [a la Fisher] та оцінювати правда з одного експерименту.

Hubbard & Bayarri: Класичне статистичне тестування - це анонімний гібрид конкуруючих та часто суперечливих підходів [...]. Зокрема, існує широке нездатність оцінювати несумісність доказового значення Фішера зі ступенем помилок типу I статистичної ортодоксальності Неймана-Пірсона. [...] Як головний приклад здивування, що виникає внаслідок [цього] змішування [...], розглянемо широко недооцінений факт, що колишня величина не суміснаα $p$$\alpha$$p$з тестом гіпотези Неймана-Пірсона, в якому вона вбудована. [...] Наприклад, Гіббонс і Пратт [...] помилково заявили: "Повідомлення P-значення, точне чи в інтервалі, фактично дозволяє кожній людині вибрати власний рівень значущості як максимально допустиму ймовірність помилки I типу. "

Halpin & Stam: Текст Ліндквіста 1940 р. Був оригінальним джерелом гібридизації підходів Фішера та Неймана-Пірсона. [...] замість того, щоб дотримуватися будь-якої конкретної інтерпретації статистичного тестування, психологи залишаються неоднозначними щодо і, в основному, не знають про концептуальні труднощі, пов'язані з полемікою Фішера та Неймана-Пірсона.

Лью: Ми маємо гібридний підхід, який не контролює частоти помилок і не дозволяє оцінити достовірність доказів.

Я вважаю, що статті, статті, повідомлення тощо, які ви старанно збирали, містять достатню кількість інформації та аналізу того, де і чому два підходи відрізняються. Але бути іншим не означає бути несумісним .

Проблема з "гібридом" полягає в тому, що це гібрид, а не синтез , і саме тому багато хто трактується як гібрид , якщо вибачте, що грає слова.
Не будучи синтезом, він не намагається поєднати відмінності двох підходів, або створити єдиний і внутрішньо послідовний підхід, або зберегти обидва підходи в науковому арсеналі як додаткові альтернативи, щоб ефективніше боротися з дуже складними світ, який ми намагаємось проаналізувати за допомогою статистики (на щастя, це останнє - це те, що, здається, відбувається з іншою великою громадянською війною на місцях, часто-байєсівською).

Невдоволення цим, я вважаю, випливає з того, що він справді створив непорозуміння у застосуванні статистичних інструментів та інтерпретації статистичних результатів , в основному, вченими, які не є статистиками , непорозуміннями, які можуть мати дуже серйозні та згубні наслідки (думка про поле медицини допомагає надати питання належному драматичному тону). Це неправильне застосування, на мою думку, сприймається широко як факт - і в цьому сенсі "антигібридна" точка зору можна вважати широко розповсюдженою (принаймні через наслідки, які вона мала, якщо не для її методологічних питань).

Я розглядаю еволюцію цього питання як історичну аварію (але у мене немає гіпотези значення або регіону відхилення) через нещасний бій між засновниками. Фішер та Нейман / Пірсон десятиліттями вели жорстоку та публічну боротьбу за свої підходи. Це створило враження, що тут справа дихотомна: один підхід повинен бути "правильним", а другий повинен бути "неправильним".$p$

Я вважаю, гібрид з'явився з усвідомлення того, що такої простої відповіді не існує, і що існували явища в реальному світі, до яких один підхід краще підходить, ніж інший (див. Цей пост для такого прикладу, на думку мене в принаймні, де рибальський підхід здається більш підходящим). Але замість того, щоб утримувати двох «окремо і готових до дії», вони були досить зайвими.

Я пропоную джерело, яке узагальнює цей "доповнюючий альтернативний" підхід: Spanos, A. (1999). Теорія ймовірностей та статистичний висновок: економетричне моделювання з даними спостережень. Cambridge University Press. , гол. 14 , особливо розділ 14.5, де автор, формально та виразно представивши два підходи, в змозі чітко вказати на їх відмінності, а також стверджує, що вони можуть розглядатися як додаткові альтернативи.

Моє власне питання щодо того, що в гібридному (тобто прийнятому) підході немає нічого особливо непоганого. Але оскільки я не був впевнений, чи не можу я зрозуміти обґрунтованість аргументів, викладених у антигібридних документах, я був радий виявити дискусію, опубліковану разом із цим документом:

• Hubbard & Bayarri, 2003, Плутанина щодо мір доказів (p's) проти помилок (α) у класичному статистичному тестуванні

На жаль, дві відповіді, опубліковані як дискусія, не були відформатовані як окремі статті, тому їх не можна належним чином цитувати. Але я хотів би процитувати їх обох:

Берк: Тема розділів 2 і 3, здається, полягає в тому, що Фішеру не сподобалось те, що робили Нейман і Пірсон, а Нейману не сподобалось те, що робив Фішер, і тому ми не повинні робити нічого, що поєднує два підходи. Тут немає уникнення приміщення, але міркування уникають мене.

Карлтон:автори твердо наполягають, що найбільше плутанини випливає із шлюбу фішерських та нейман-персонівських ідей, що такий шлюб є ​​катастрофічною помилкою з боку сучасних статистиків [...] [T] він, схоже, має намір встановити, що значення P і Помилки типу I не можуть співіснувати в одному Всесвіті. Незрозуміло, чи дали автори якусь істотну причину, чому ми не можемо вимовити "p значення" та "помилка типу I" в одному реченні. [...] «Факт» їх несумісності [F і NP] стає для мене дивовижною новиною, оскільки я впевнений, що це стосується тисяч кваліфікованих статистиків, які читають цю статтю. Автори навіть, начебто, припускають, що серед причин, коли статистики повинні зараз розлучитися з цими двома ідеями, є те, що Фішер та Нейман не були дуже люблять один одного (або один одного). s філософії тестування). Я завжди розглядав нашу сучасну практику, яка інтегрує філософію Фішера та Неймана і дозволяє обговорювати як значення P, так і помилки типу I - хоча це, звичайно, не паралельно - як один з найбільших перемог нашої дисципліни.

Обидві відповіді дуже варті прочитання. Існує також репліка початкових автори, які не звучать переконливо для мене взагалі .

Я побоююся, що для реальної відповіді на це відмінне запитання потрібен повноцінний папір. Однак тут є кілька пунктів, яких немає ні в питанні, ні в поточних відповідях.

1. Коефіцієнт помилок "належить" до процедури, але докази "належать" до експериментальних результатів. Таким чином, при багатоступеневих процедурах з послідовними правилами зупинки можна отримати результат з дуже вагомими доказами проти нульової гіпотези, але не суттєвим результатом тестування гіпотези. Це можна вважати сильною несумісністю.

2. Якщо вас цікавлять несумісності, вас повинні зацікавити основні філософії. Філософська складність пов'язана з вибором між дотриманням принципу ймовірності та відповідності принципу повторного відбору проб. LP говорить приблизно, що, даючи статистичну модель, дані в наборі даних, що відповідають параметру, що цікавить, повністю містяться у відповідній функції ймовірності. В RSP кажуть, що слід віддавати перевагу тестам, які дають коефіцієнти помилок у довгостроковій перспективі, що дорівнюють їх номінальним значенням.

Часто помітний (і нібито прийнятий) союз (або краще: "гібрид") між двома підходами полягає в наступному:

1. Встановити попередньо визначений рівень (0,05 сказати)$\alpha$
2. Потім перевірити свою гіпотезу, наприклад, протиH 1 : μ ≠ $H_o: \mu = 0$$H_1: \mu \ne 0$

3. Вкажіть значення p та сформулюйте своє рішення на основі рівня :$\alpha$

   Якщо отримане значення p нижче < , можна сказати$\alpha$

   • "Я відхиляю " або$H_o$
   • "Я відхиляю " на користь "абоH $H_o$$H_1$
   • "Я на впевнений, що "H $100\% \cdot (1-\alpha)$$H_1$

   Якщо значення р недостатньо мало, ви б сказали

   • "Я не можу відхилити " або$H_o$
   • "Я не можу відхилити на користь "H $H_o$$H_1$

Тут аспектами Неймана-Пірсона є:

• Ви щось вирішуєте
• У вас є альтернативна гіпотеза (хоча - це навпаки )$H_o$
• Ви знаєте рівень помилок I типу

Рибальські аспекти:

• Ви вказуєте значення p. Будь-який читач, таким чином, має можливість використовувати свій рівень (наприклад, суворо виправляючи для багаторазового тестування) для прийняття рішення
• В основному, потрібна лише нулева гіпотеза, оскільки альтернатива якраз навпаки
• Ви не знаєте рівня помилок II типу. (Але ви можете одразу отримати його для конкретних значень )$\mu \ne 0$

ADD-ON

Хоча добре бути в курсі дискусії про філософські проблеми Фішера, НП чи цього гібридного підходу (як цього навчили майже релігійні шаленства), у статистиці є набагато більш актуальні питання, з якими можна боротися:

• Задавати неінформативні запитання (наприклад, двійкові питання "так / ні" замість кількісних "скільки" питань, тобто використовувати тести замість довірчих інтервалів)
• Методи аналізу даних, що призводять до упереджених результатів (поетапна регресія, припущення тестування тощо)
• Вибір неправильних тестів чи методів
• Неправильне тлумачення результатів
• Використання класичної статистики для випадкових вибірок

визнаючи, що і F, і NP є дійсними та змістовними підходами, що так поганого в їх гібриді?

Коротка відповідь: використання нульової (без різниці, ніякої кореляції) нульової гіпотези, незалежно від контексту. Все інше - це "неправильне використання" людьми, які створили для себе міфи про те, чого можна досягти цим процесом. Міфи виникають у людей, які намагаються узгодити (іноді доцільно) використання довіри до авторитету та евристики консенсусу з непридатністю процедури до своєї проблеми.

Наскільки мені відомо, Герд Гігеренцер придумав термін "гібрид":

Я запитав автора [видатного автора статистичного підручника, книга якого вийшла через багато видань, і чиє ім'я не має значення], чому він видалив главу про Байєса, а також про невинний вирок з усіх наступних видань. "Що змусило вас представити статистику так, ніби вона мала лише один молоток, а не інструментарій? Чому ви змішали теорії Фішера та Неймана-Пірсона з непослідовними гібридами, які кожен порядний статистик відкине?

На його честь, я повинен сказати, що автор не намагався заперечити, що він породив ілюзію, що існує лише один інструмент. Але він дав мені знати, хто винен у цьому. Винуватців було три: його колеги-дослідники, адміністрація університету та його видавець. Більшість дослідників, стверджував він, насправді не зацікавлені в статистичному мисленні, а лише в тому, як опублікувати їхні статті [...]

Нульовий ритуал:

1. Встановіть статистичну нульову гіпотезу про "відсутність середньої різниці" або "нульову кореляцію". Не вказуйте прогнози вашої дослідницької гіпотези або будь-яких альтернативних предметних гіпотез.

2. Використовуйте 5% як умову для відхилення нуля. Якщо це суттєво, прийміть вашу гіпотезу дослідження. Повідомте про результат як , , або (залежно від отриманої величини).p < 0,01 p < 0,001 $p < 0.05$$p < 0.01$$p < 0.001$$p$

3. Завжди виконуйте цю процедуру.

Gigerenzer, G (листопад 2004 р.). " Бездумна статистика ". Журнал соціально-економічної науки 33 (5): 587–606. doi: 10.1016 / j.socec.2004.09.033.

Редагувати: І ми завжди мусимо згадати, оскільки "гібрид" настільки слизький і неправильно визначений, що використання нульового нуля для отримання p-значення цілком чудово, як спосіб порівняння розмірів ефекту за різними розмірами вибірки. Саме аспект "тесту" вводить проблему.

Редагувати 2: @amoeba Р-значення може бути чудовим як підсумкова статистика, в цьому випадку нульова гіпотеза є лише довільною орієнтиром: http://arxiv.org/abs/1311.0081 . Однак, як тільки ви починаєте намагатися зробити висновок або прийняти рішення (тобто "перевірити" нульову гіпотезу), він перестає мати сенс. Порівнюючи приклад двох груп, ми хочемо знати, чим відрізняються дві групи, а також можливі різні пояснення різниць такої величини та типу.

Значення р може бути використане як підсумкова статистика, яка говорить нам про величину різниці. Однак використання його для "спростування / відхилення" нульової різниці не відповідає меті, яку я не можу сказати. Крім того, я вважаю, що багато з цих проектів дослідження, які порівнюють середні виміри живих істот в одній часовій точці, неправильно керуються. Потрібно спостерігати, як окремі екземпляри системи змінюються з часом, а потім придумати процес, який пояснює спостережувану закономірність (включаючи групові відмінності).

Я бачу, що ті, хто має більше досвіду, ніж я, дали відповіді, але думаю, що моя відповідь має потенціал додати щось додаткове, тому я запропоную це як перспектива іншого мирянина.

Чи гібридний підхід є неузгодженим?   Я б сказав, що це залежить від того, чи закінчиться дослідник невідповідним правилам, з яких вони почали: зокрема, так / ні правило, яке вступає в гру з встановленням значення альфа.

Невідповідні

Почніть з Неймана-Пірсона. Дослідник встановлює альфа = 0,05, проводить експеримент, обчислює p = 0,052. Дослідник розглядає це значення p і, використовуючи фішерський умовивід (часто неявно), вважає результат недостатньо несумісним з гіпотезою тесту про те, що вони все ще будуть стверджувати, що "щось" відбувається. Результат якимось чином "досить хороший", хоча значення р було більше, ніж альфа-значення. Часто це поєднується з такою мовою, як "майже значна" чи "тенденція до значущості", або з деякими формулюваннями в цих напрямках.

Однак встановлення альфа-значення перед проведенням експерименту означає, що обрали підхід індуктивної поведінки Неймана-Пірсона. Вибір ігнорувати це значення альфа після обчислення р-значення, і, таким чином, стверджувати, що щось все-таки є якось цікавим, підриває весь підхід, з якого починався. Якщо дослідник починає шлях А (Неймана-Пірсона), але потім переходить на інший шлях (Фішер), як тільки їм не сподобається шлях, по якому вони йдуть, я вважаю це невідповідним. Вони не узгоджуються з (маються на увазі) правилами, з яких вони почали.

Узгоджений (можливо)

Почніть з NP. Дослідник встановлює альфа = 0,05, проводить експеримент, обчислює p = 0,0014. Дослідник зауважує, що p <альфа, і таким чином відкидає гіпотезу тесту (як правило, ефект недійсний) і приймає альтернативну гіпотезу (ефект реальний). У цей момент дослідник, крім того, вирішивши трактувати результат як реальний ефект (NP), вирішує зробити висновок (Фішер), що експеримент дає дуже вагомі докази того, що ефект є реальним. Вони додали нюанс підходу, з якого почали, але не суперечили встановленим правилам, вибравши значення альфа на початку.

Підсумок

Якщо починати з вибору значення альфа, то він вирішив пройти шлях Неймана-Пірсона та дотримуватися правил такого підходу. Якщо вони, в якийсь момент, порушують ці правила, використовуючи фішерський умовивід як виправдання, тоді вони діяли непослідовно / непослідовно.

Я думаю, можна було б піти на крок далі і заявити, що, оскільки можна використовувати гібрид непослідовно, тому підхід за своєю суттю є некогерентним, але це, здається, заглиблюється у філософські аспекти, які я не вважаю кваліфікованими навіть запропонуйте думку щодо.

Підказка капелюха Майклу Лью. Стаття 2006 року допомогла мені зрозуміти ці питання краще, ніж будь-який інший ресурс.