ASA обговорює обмеження -значень - які альтернативи?

У нас вже є кілька потоків, позначених як p-значення, які виявляють багато непорозумінь щодо них. Десять місяців тому у нас була нитка про психологічний журнал, який "заборонив" -значення$p$ р , зараз Американська статистична асоціація (2016) каже, що з нашим аналізом ми "не повинні закінчуватися обчисленням -значення".$p$

Американська статистична асоціація (ASA) вважає, що наукове співтовариство може скористатися офіційною заявою, що пояснює декілька широко узгоджених принципів, що лежать в основі правильного використання та інтерпретації значення .$p$

Комітет перераховує інші підходи як можливі альтернативи чи доповнення до -значень:$p$

Зважаючи на поширені зловживання та хибні уявлення щодо -значень, деякі статистики вважають за краще доповнювати або навіть замінювати -значення іншими підходами. До них відносяться методи, що підкреслюють оцінку щодо тестування, такі як впевненість, достовірність або інтервали прогнозування; Байєсівські методи; альтернативні доказові заходи, такі як коефіцієнти ймовірності або фактори Байєса; та інші підходи, такі як теоретичне моделювання рішень та швидкість виявлення помилок. Усі ці заходи та підходи покладаються на подальші припущення, але вони можуть більш безпосередньо стосуватися розміру ефекту (та пов’язаної з цим невизначеності) або правильності гіпотези.$p$$p$

Тож давайте уявимо реальність після оцінки . ASA перераховує деякі методи, які можна використовувати замість -значень, але чому вони кращі? Які з них можуть бути заміною в реальному житті для дослідника, який використовував -значення протягом усього свого життя? Я вважаю , що такого роду питання будуть з'являтися в пост- -значення реальності, так що, може бути , давайте намагатися бути один крок попереду них. Що є розумною альтернативою, яку можна застосувати нестандартно? Чому такий підхід повинен переконувати вашого провідного дослідника, редактора чи читачів?p p $p$$p$$p$$p$

Як підказує цей наступний запис у блозі , -значення неперевершені своєю простотою:$p$

Значення р вимагає лише статистичної моделі поведінки статистики, яка має місце при нульовій гіпотезі. Навіть якщо модель альтернативної гіпотези використовується для вибору "хорошої" статистики (яка була б використана для побудови p-значення), ця альтернативна модель не повинна бути правильною для того, щоб р-значення було дійсним і корисно (тобто: помилка управління I типу на потрібному рівні, пропонуючи деяку потужність для виявлення реального ефекту). На відміну від інших (чудових і корисних) статистичних методів, таких як коефіцієнти ймовірності, оцінка розміру ефекту, довірчі інтервали або байєсівські методи, всі необхідні моделі мають змогу утримуватись у більш широкому діапазоні ситуацій, а не лише під тестовою нулею.

Це вони, чи, може, це неправда, і ми можемо їх легко замінити?

Я знаю, це широко, але головне питання просте: яка найкраща (і чому) реальна альтернатива -значенням, які можна використовувати як заміну?$p$

ASA (2016). Заява ASA про статистичну значимість та . $P$ Американський статистик. (в пресі)

Я сфокусую цю відповідь на конкретному питанні, які є альтернативи -значенням.$p$

Є 21 дискусійних матеріалів , опублікованих разом із заявою ASA ( в якості додаткових матеріалів): Наомі Альтмана, Дуглас Альтман, Daniel J. Бенджамін, Йоав Бенджамін, Джим Бергер, Дон Беррі, Джон Карлін, Джордж Кобб, Ендрю Гельман, Стів Гудман, Сандер Ґренландія, Джон Іоаннідіс, Джозеф Горовіц, Вален Джонсон, Майкл Лавін, Майкл Лев, Род Літл, Дебора Майо, Мішель Міллар, Чарльз Пул, Кен Ротман, Стівен Сенн, Дален Стангл, Філіп Старк і Стів Зіляк (деякі з них писали разом ; Я перелічу всі для майбутніх пошуків). Ці люди, ймовірно, охоплюють усі існуючі думки щодо -значень та статистичних висновків.$p$

Я переглянув усі 21 папір.

На жаль, більшість із них не обговорює жодних реальних альтернатив, хоча більшість стосується обмежень, непорозумінь та різних інших проблем з -значеннями (для захисту p -значень див. Бенджаміні, Майо та Сенн). Це вже говорить про те, що альтернативи, якщо такі є, знайти нелегко і / або захистити їх непросто.$p$$p$

Отже, давайте подивимось на перелік "інших підходів", наведений у самій заяві ASA (як це вказано у вашому запитанні):

[Інші підходи] включають методи, що підкреслюють оцінку щодо тестування, такі як впевненість, достовірність або інтервали прогнозування; Байєсівські методи; альтернативні доказові заходи, такі як коефіцієнти ймовірності або фактори Байєса; та інші підходи, такі як теоретичне моделювання рішень та швидкість виявлення помилок.

1. Інтервали довіри

   Інтервали довіри - це інструмент, що часто застосовується, який іде одночасно з ; повідомлення про довірчий інтервал (або якийсь еквівалент, наприклад, середня ± стандартна похибка середнього значення) разом з р- значення майже завжди є хорошою ідеєю.$p$$\pm$$p$

   Деякі люди (не входить в числі тих, що сперечаються ASA) свідчать про те , що довірчі інтервали повинні замінити на -значення. Одним з найбільш відвертих прихильників такого підходу є Джефф Каммінг, який називає це новою статистикою (ім'я, яке я вважаю жахливим). Дивіться, наприклад, це повідомлення у блозі Ульріха Шиммака для детальної критики: Критичний огляд Кеммінга (2014) Нова статистика: Перепродаж старої статистики як нової статистики . Дивіться також. Ми не можемо дозволити собі вивчити розмір ефекту в публікації про блог Урі Сімонсона в лабораторній публікації.$p$

   Дивіться також цю тему (і моя відповідь в них) про пропозицію по схоже Norm Matloff де я сперечаюся , що при складанні звітів КЕ один все ж хотів би мати -значення повідомило , а також: Що таке добре, переконливий приклад , в якому р-значення корисні?$p$

   Деякі інші люди (не входять також серед спірних підписників ASA), однак, стверджують, що інтервали довіри, будучи частішим інструментом, такі ж неправильні, як і -значення, і їх також слід утилізувати. Див., Наприклад, Morey et al. 2015, помилковість розміщення довіри у довірчих інтервалах, пов’язаних @Tim тут у коментарях. Це дуже стара дискусія.$p$

2. Баєсові методи

   (Мені не подобається, як заява ASA формулює список. Достовірні інтервали та фактори Байєса перераховані окремо від "байєсівських методів", але вони, очевидно, байєсівські інструменти. Тому я тут їх підраховую разом.)

   • Існує величезна і дуже самовпевнена література про байесівські та частоталістські дебати. Дивіться, наприклад, цю недавню нитку для деяких думок: Коли (якщо взагалі колись) є частоцистський підхід істотно кращий, ніж байєсівський? Байєсівський аналіз має повний сенс, якщо у вас є хороші інформативні пріори, і кожен буде радий лише обчислити і повідомити або p ( H 0 : θ = 0 | дані ) замість p ( дані принаймні як крайні | H 0$p(\theta|\text{data})$$p(H_0:\theta=0|\text{data})$$p(\text{data at least as extreme}|H_0)$- Але, на жаль, люди зазвичай не мають добрих пріорів. Експериментатор записує 20 щурів, що роблять щось в одному стані, і 20 щурів, що роблять те ж саме в іншому стані; передбачення полягає в тому, що показники колишніх щурів перевищуватимуть показники останніх щурів, але ніхто не бажає і не зможе заявити про чіткі попередні відмінності в продуктивності. (Але дивіться відповідь @ FrankHarrell, де він виступає за використання "скептичних пріорів".)

   • Важкі байєси пропонують використовувати байєсівські методи, навіть якщо у них немає ніяких інформативних пріорів. Один з останніх прикладів - Krushke, 2012, оцінка Байєса витісняє -test$t$ , покірно скорочений як BEST. Ідея полягає у використанні байєсівської моделі зі слабкими неінформативними пріорами для обчислення заднього для ефекту інтересу (наприклад, різниця в групах). Практична відмінність від частолістських міркувань, як правило, незначна, і наскільки я бачу, такий підхід залишається непопулярним. Див. Що таке "неінформативний пріоритет"? Чи можемо ми колись мати таку, яка справді не має інформації? для обговорення того, що є "неінформативним" (відповідь: такого немає, звідси суперечка).

   • Альтернативний підхід, повернувшись до Гарольда Джеффрі, базується на байєсівському тестуванні (на відміну від байєсівської оцінки ) та використовує фактори Байєса. Одним з найбільш красномовних і плодовитих прихильників є Ерік-Ян Вагенмейкерс, який останнім часом багато опублікував на цю тему. Тут варто підкреслити дві особливості цього підходу. По-перше, див. Wetzels et al., 2012, Тест гіпотези Байесів за замовчуванням для конструкцій ANOVA для ілюстрації того, наскільки сильно результат такого байєсівського тесту може залежати від конкретного вибору альтернативної гіпотези $H_1$і розподіл параметрів ("попередній"), який він задає. По- друге, коли - то «розумний» перед обраний (Вагенмакерс рекламує Джеффріс так звані " по замовчуванню" апріорні), в результаті чого Байеса чинники часто виявляються цілком узгоджується зі стандартними -значення, дивись , наприклад , ця цифра з цього препринт Marsman & Wagenmakers :$p$

     

     Так, поки Wagenmakers та ін. продовжуйте наполягати на тому, що -значення є глибокими недоліками, а фактори Байєса - це не можна не дивуватися ... (Справедливо кажучи, суть Wetzels та ін. 2011 року полягає в тому, що для p -значень, близьких лише до 0,05 факторів Байєса вкажіть на дуже слабкі докази проти нуля, але зауважте, що це можна легко вирішити в парадигмі частолістського просто, використовуючи більш суворий α - те, про що багато хто виступає в будь-якому випадку). $p$$p$$0.05$$\alpha$

     Один з найпопулярніших робіт Wagenmakers et al. на захист факторів Байєса - 2011, Чому психологи повинні змінити спосіб аналізу своїх даних: Випадки пси, де він стверджує, що сумнозвісна праця Бема про прогнозування майбутнього не дійшла б до їх помилкових висновків, якби вони використовували лише фактори Баєса з -значення. Дивіться цю продуману публікацію в блозі Ульріха Шиммака для детального (і переконливого ІМХО) контр-аргументу: Чому психологи не повинні змінювати спосіб аналізу своїх даних: Диявол знаходиться в пріоритеті за замовчуванням .$p$

     Дивіться також Байєсівський тест за замовчуванням попередньо оцінений у блозі Урі Сімонсона щодо малих ефектів .

   • Для повноти я зазначу, що Wagenmakers 2007, практичне рішення поширених проблем -значень,$p$ пропонував використовувати BIC як наближення до коефіцієнта Байєса для заміни -значень. BIC не залежить від попереднього, і, отже, незважаючи на свою назву, насправді не є баєсами; Я не впевнений, що думати про цю пропозицію. Здається, що останнім часом Вагенмейкер більше виступає за байесівські тести з неінформативними приорами Джефріса, див. Вище.$p$

   
   Для подальшого обговорення оцінки Байєса та Баєсового тестування див. Оцінку параметрів Байєса чи тестування гіпотези Баєса? і посилання на них.

3. Мінімальні фактори Баєса

   Серед суперечок ASA це чітко запропоновано Benjamin & Berger та Valen Johnson (єдині два документи, які стосуються пропонування конкретної альтернативи). Їх конкретні пропозиції дещо відрізняються, але вони схожі за духом.

   • Ідеї Berger повернутися до Berger & Sellke +1987 і існує ряд робіт Бергера, Sellke і співробітників аж до минулого року розробки на цій роботі. Ідея полягає в тому, що під шипом і плитою, до якої точка нульової гіпотеза отримує ймовірність 0,5, а всі інші значення μ отримують ймовірність 0,5, симетрично поширюється навколо 0 ("локальна альтернатива"), то мінімальний задній p ( H 0 ) над всі локальні альтернативи, тобто мінімальний коефіцієнт Байєса , значно вищий за $\mu=0$$0.5$$\mu$$0.5$$0$$p(H_0)$$p$-цінність. Це є основою (значно оскаржуваного) твердження, що -значення "завищують докази" проти нуля. Пропозиція полягає у використанні нижньої межі коефіцієнта Байєса на користь нуля замість p -значення; за деякими широкими припущеннями, ця нижня межа виявляється заданою через - e p log ( p ) , тобто значення p- значення ефективно помножується на - e log ( p ), що є коефіцієнтом приблизно від 10 до 20 для загального діапазону з р -значення. Такий підхід схвалено$p$$p$$-ep\log(p)$$p$$-e\log(p)$$10$$20$$p$ також Стівен Гудман.

     Пізніше оновлення: дивіться хороший мультфільм, що пояснює ці ідеї простим способом.

     Ще пізніше оновлення: Див. Held & Ott, 2018, Про -Values ​​та фактори Байєса$p$ для всебічного огляду та подальшого аналізу перетворення значень у мінімальні коефіцієнти Байєса. Ось одна таблиця звідти:$p$

     

   • Вален Джонсон запропонував щось подібне у своєму документі PNAS 2013 ; його пропозиція приблизно зводиться до множення -значень на $p$ який становить приблизно від5до10.$\sqrt{-4\pi\log(p)}$$5$$10$

   
   Коротку критику статті Джонсона див. У відповіді Ендрю Гельмана та @ Xi'an у PNAS. Про контраргумент Berger & Sellke 1987 дивіться у розділі Casella & Berger 1987 (різні Berger!). Серед дискусійних документів APA Стівен Сенн прямо виступає проти будь-якого з цих підходів:

   Ймовірності помилок не є задніми ймовірностями. Безумовно, статистичного аналізу існує набагато більше, ніж значень, але їх слід залишити в спокої, а не деформувати певним чином, щоб стати байєсівськими задніми ймовірностями другого класу.$P$

   Дивіться також посилання у статті Сенна, включаючи посилання на блог Майо.

4. Заява ASA перераховує "теоретичне моделювання рішень та швидкість виявлення помилок" як іншу альтернативу. Я поняття не маю, про що вони говорять, і я був радий бачити це, що було сказано в дискусійному документі Старка:

   Розділ "Інші підходи" ігнорує той факт, що припущення деяких із цих методів ідентичні тим, що мають -значення. Дійсно, деякі методи використовують р-значення як вхідні дані (наприклад, помилковий показник виявлення).$p$$p$

Я дуже скептично налаштований на те, що в фактичній науковій практиці є що- небудь, що може замінити -значення, таким чином, щоб проблеми, які часто пов'язані з p -значеннями (криза реплікації, p- хакінг тощо), пішли б. Будь-яку фіксовану процедуру прийняття рішення, наприклад, байєсівську, можливо, можна "зламати" так само, як p -знаки можуть бути p- хакіровані (про деяку дискусію та демонстрацію цього див. У цьому блозі Урі Сімонсона 2014 року ).$p$$p$$p$$p$$p$

Цитувати з дискусійного документа Ендрю Гелмана:

Підсумовуючи це, я погоджуюся з більшістю тверджень ASA щодо -значень, але я вважаю, що проблеми є глибшими, і що рішення полягає не в тому, щоб реформувати p -значення або замінювати їх якимось іншим статистичним підсумком або порогом, а скоріше рухатися до більшого сприйняття невизначеності та прийняття варіації.$p$$p$

І від Стівена Сенна:

Коротше кажучи, проблема менша з значень як такої, але з створенням їх кумира. Заміна іншого фальшивого бога не допоможе.$P$

І ось як Коен виклав це у своїй відомій та високо цитованій (3,5 к. Цити) статті 1994 р . Земля кругла ( ),$p<0.05$ де він дуже рішуче виступав проти -значень:$p$

[...] не шукайте магічну альтернативу NHST, якийсь інший об'єктивний механічний ритуал, щоб замінити його. Його не існує.

Ось два мої центи.

Я думаю, що в якийсь момент багато прикладних вчених заявили наступну "теорему":

$p\text{-value}<0.05\Leftrightarrow \text{my hypothesis is true}.$

і більшість поганих практик походить саме звідси.

$p$

Раніше я працював з людьми, які використовують статистику, не розуміючи її, і ось, що я бачу:

1. $p<0.05$

2. $p<0.05$

3. $0.05$

Все, що робиться вправними, чесними вченими, що не мають сильних відчуттів обману. Чому? ІМХО, через теорему 1.

$p$$0.05$$p$$<0.05$$p$$<0.05$

$p$

$p$

$p$$>0.05$

4. $H_0: \mu_1 \ne \mu_2$$p$$H_0$$p=0.2$

Основна проблема з -значення полягає в тому, що альтернатива ніколи не згадується, хоча я думаю, що у багатьох випадках це може багато допомогти. Типовим прикладом є точка 4., де я запропонував колезі обчислити заднє відношення для p ( μ 1 > μ 2 | x $p$$p(\mu_1>\mu_2|x)$$p(\mu_1<\mu_2|x)$$\mu_1>\mu_2$$\mu_2>\mu_1$

Інший пов'язаний випадок, коли експерти хочуть:

5. тест $\mu_1>\mu_2>\mu_3$$\mu_1=\mu_2=\mu_3$$\mu_1>\mu_2>\mu_3$

Згадування альтернативної гіпотези - єдине рішення для вирішення цієї справи.

Тож використання задніх шансів, коефіцієнт Байєса або співвідношення ймовірності спільно з довірчими / достовірними інтервалами, здається, зменшують основні проблеми.

$p$

$p$$p$

Моє два копійки висновок

$p$

$P$

1. Більш програмне забезпечення доступне для частістських методів, ніж байєсівські методи.
2. В даний час деякі байєсівські аналізи потребують тривалого часу.
3. Байєсівські методи вимагають більше мислення та більше часу. Я не проти мислячої частини, але час часто короткий, тому ми беремо ярлики.
4. Завантажувальний пристрій - це надзвичайно гнучка та корисна побутова техніка, яка більше пов'язана з частістським світом, ніж з байесівською.

$P$$P$ змушує робити довільну коригування кратності, навіть коригуючи зовнішній вигляд даних, який, можливо, вплинув, але насправді цього не зробив.

$P$

За винятком лінійних моделей Гаусса та експоненціального розподілу, майже все, що ми робимо при частому виведенні, є приблизним (хорошим прикладом є двійкова логістична модель, яка спричиняє проблеми, оскільки її функція вірогідності журналу дуже квадратична). З байєсівським висновком, все точно в межах помилки моделювання (і ви завжди можете зробити більше моделювання, щоб отримати задню вірогідність / достовірні інтервали).

Я написав більш детальний облік свого мислення та еволюції на веб- сайті http://www.fharrell.com/2017/02/my-journey-from-frequentist-to-bayesian.html

Блискучий синоптик Скотт Армстронг з Wharton опублікував статтю майже 10 років тому під назвою « Тести значущості» . Незважаючи на те, що це передбачено для прогнозування, це може бути узагальнено до будь-якого аналізу даних або прийняття рішень. У статті він зазначає, що:

"Тести, що мають статистичну значимість, шкодять науковому прогресу. Намагань знайти винятки з цього висновку на сьогодні не виявилося жодним".

Це відмінне прочитання для всіх, хто цікавиться антитетичним переглядом значущості та значень P.

Причина, чому мені подобається ця стаття, полягає в тому, що Армстронг пропонує альтернативи тестуванню значущості, які є стислими і їх можна легко зрозуміти, особливо для нестатиста, як я. На мою думку, це набагато краще, ніж стаття ASA, процитована у запитанні:

Все це я продовжую сприймати і з тих пір перестала використовувати тестування на значимість або дивитись на значення P, за винятком випадків, коли я роблю рандомізовані експериментальні дослідження або квазі експерименти. Треба додати, що рандомізовані експерименти є дуже рідкісними на практиці, за винятком фармацевтичної промисловості / наук про життя та в деяких галузях техніки.

$p$ -значення, заснованого на значеннях, які мають такі самі логічні недоліки.

$p$. Я все ще вважаю, що це адекватний підхід, який залишає питання про наукову придатність цих висновків в руках тих експертів, які займаються контентом. Тепер помилка, яку ми знаходимо в сучасних програмах, аж ніяк не є виною статистики як науки. Також у грі є рибалка, екстраполяція та перебільшення. Дійсно, якщо (скажімо) кардіолог повинен брехати і стверджувати, що препарат, який знижує середній артеріальний тиск на 0,1 мм рт.ст., є "клінічно значущим", жодна статистика ніколи не захистить нас від такої нечесності.

Нам потрібно покінчити з теоретичним статистичним висновком рішення. Ми повинні намагатися думати поза гіпотезою. Зростаючий розрив між клінічною корисністю та гіпотезами, що керуються дослідженням, загрожує науковій цілісності. "Значне" дослідження є надзвичайно сугестивним, але рідко обіцяє будь-які клінічно значущі результати.

Це очевидно, якщо ми перевіримо атрибути гіпотези, керованої умовиводом:

• Викладена нульова гіпотеза надумана, не узгоджується із сучасними знаннями та не піддається розуму чи очікуванню.
• Гіпотези можуть бути дотичними до точки, яку автор намагається зробити. Статистика рідко узгоджується з великою частиною дискусій, що випливають із них, і автори висловлюють далекосяжні твердження, що, наприклад, їхнє спостережливе дослідження має наслідки для публічної політики та просвітницької роботи.
• Гіпотези, як правило, неповні в тому сенсі, що вони не визначають адекватно сукупність, що цікавить, і, як правило, призводять до надмірної генералізації

Для мене альтернативою є метааналітичний підхід, принаймні якісний. Усі результати слід суворо перевіряти щодо інших "подібних" висновків та відмінностей, описаних дуже ретельно, особливо критерії включення / виключення, одиниці чи шкали, що використовуються для експозиції / результатів, а також розміри ефектів та інтервали невизначеності (які найкраще підсумовуються з 95% ІС ).

Нам також потрібно провести незалежні підтверджуючі випробування. Багатьох людей коливає одне, здавалося б, суттєве випробування, але без реплікації ми не можемо вірити, що дослідження було проведено етично. Багато хто зробив наукову кар'єру з фальсифікації доказів.

$p$$p$$p$

Два посилання з медичної літератури є (1) Лангманом, MJS під назвою Інтервали оцінювання та довірчі інтервали та Гарднер М. Дж. Та Олтман, ДГ під назвою Інтервали довіри, а не значення {P}: оцінка, а не тестування гіпотез

Мій вибір буде продовжувати використовувати значення p, але просто додавати довірчі / достовірні інтервали та, можливо, інтервали прогнозування первинних результатів. Є дуже приємна книга Дугласа Алтмана (Статистика з упевненістю, Вілей), і завдяки підходам до завантаження та MCMC ви завжди можете будувати досить міцні інтервали.

$p$

• розробити більш складну модель, здатну імітувати результати в цільовій сукупності
• визначити та виміряти атрибути цільової сукупності, щодо яких можна було б запропонувати рішення, лікування чи політику
• оцінити за допомогою моделювання очікувану втрату в сировинних одиницях цільової кількості, таких як роки життя, роки, скориговані за якістю, долари, урожайність тощо, та оцінити невизначеність цієї оцінки.

Це, безумовно, не виключає тестування значущості гіпотез, але це підкреслює, що статистично значущі результати є дуже ранніми, посередницькими кроками на шляху до реального відкриття, і ми повинні очікувати, що дослідники з їхніми висновками зроблять набагато більше.