Журнал психології забороняв р-значення та інтервали довіри; чи справді розумно припинити їх використання?

25 лютого 2015 року журнал « Основна та прикладна соціальна психологія» видав редакцію, в якій забороняв -значення та інтервали довіри у всіх майбутніх публікаціях.$p$

Зокрема, вони кажуть (форматування та наголос - це моє):

• [...] перед публікацією авторам доведеться видалити всі залишки процедури НГСТП [нульова процедура перевірки значущості гіпотез] ( -значення, -значення, -знаки, твердження про "суттєві" відмінності або їх відсутність , і так далі).$p$$t$$F$

• Аналогічно тому, як NHSTP не надає ймовірності нульової гіпотези, яка необхідна для того, щоб забезпечити важкий випадок її відхилення, довірчі інтервали не дають вагомих випадків для висновку про те, що параметр інтересу населення, ймовірно, буде в межах заявленого інтервал. Тому довірчі інтервали також заборонені в BASP.

• [...] стосовно байєсівських процедур ми залишаємо за собою право виносити конкретні рішення, і, таким чином, байєсські процедури не вимагаються і не заборонені в BASP.

• [...] Чи потрібні якісь інфекційні статистичні процедури? - Ні [...] Однак BASP вимагатиме чіткої описової статистики, включаючи розміри ефектів.

Не будемо тут обговорювати проблеми та неправильне використання -значень; вже є безліч відмінних дискусій про CV, які можна знайти, переглянувши тег p-value . Критика -значень часто поєднується з порадою повідомляти про довірчі інтервали для параметрів, що цікавлять. Наприклад, у цій дуже добре аргументованій відповіді @gung пропонує повідомити про розміри ефектів із довірчими інтервалами навколо них. Але цей журнал також забороняє довірчі інтервали.$p$$p$

Які переваги та недоліки такого підходу до подання даних та експериментальних результатів на відміну від «традиційного» підходу з -значеннями, інтервалами довіри та суттєвою / незначною дихотомією? Здається, реакція на цю заборону здебільшого негативна; тож які тоді недоліки? Американська статистична асоціація навіть опублікувала короткий відлякуючий коментар щодо цієї заборони, заявивши, що "ця політика може мати свої негативні наслідки". Якими можуть бути ці негативні наслідки?$p$

Або, як @whuber запропонував сказати, чи слід взагалі застосовувати цей підхід як парадигму кількісних досліджень? А якщо ні, то чому б і ні?

PS. Зауважте, що моє запитання не стосується самої заборони ; йдеться про запропонований підхід. Я також не питаю про частота виступу проти Байесія. Редакція досить негативно стосується і байєсівських методів; тому, по суті, йдеться про використання статистики проти взагалі не використання статистики.

Інші дискусії: reddit , Gelman .

Перше речення поточної редакції 2015 року, на яке посилається ОП, гласить:

Основна та прикладна соціальна психологія (BASP) 2014 Редакція * підкреслила *, що процедура перевірки значущості гіпотези (NHSTP) є недійсною ...

(мій акцент)

Іншими словами, для редакторів це вже доведений науковий факт, що "перевірка значущості гіпотез" є недійсною, а редакція 2014 року лише наголосила на цьому, тоді як нинішня редакція 2015 року лише реалізує цей факт.

Зловживання (навіть зловмисне) NHSTP дійсно добре обговорюється та задокументоване. І невідомо в історії людства те, що "речі заборонені", оскільки було встановлено, що після всього сказаного і зробленого вони зловживають більш ніж корисно (але чи не слід це статистично перевіряти?). Це може бути "другим найкращим" рішенням, щоб зменшити те, що в середньому (інфекційна статистика) призвело до втрат, а не до прибутків, і тому ми прогнозуємо (інфекційна статистика), що це буде шкодити і в майбутньому.

Але завзяття, виявлене за формулюванням вищенаведеного першого речення, робить це схожим на точніше, як на ревний підхід, а не на прохолодне рішення вирізати руку, яка, як правило, краде, а не пропонує. Якщо прочитати річну редакцію, що згадується на рік, згадується у цитаті (DOI: 10.1080 / 01973533.2014.865505), то побачимо, що це лише частина повторного перегляду політик Журналу новим редактором.

Прокручуючи редакцію, вони пишуть

... Навпаки, ми вважаємо, що смуга p <.05 занадто проста для проходження і іноді слугує приводом для дослідження нижчої якості.

Отже, виявляється, що їх висновок, пов'язаний з їх дисципліною, полягає в тому, що нульові гіпотези відкидаються "занадто часто", і тому передбачувані висновки можуть набути помилкового статистичного значення. Це не той самий аргумент, як "недійсний" вирок у першому реченні.

Отже, щоб відповісти на запитання, очевидно, що для редакторів журналу їхнє рішення не лише розумне, але вже запізнене на реалізацію: вони, здається, думають, що вони вирізали, яка частина статистики стала шкідливою, зберігаючи корисні частини - вони, здається, не вірять, що тут є щось, що потребує заміни чимось "рівнозначним".

Епістемологічно - це випадок, коли вчені суспільствознавства частково відмовляються від спроби зробити свою дисципліну більш об'єктивною у своїх методах та результатах, використовуючи кількісні методи, оскільки вони дійшли висновку (як?), Що врешті-решт, , спроба створила "більше поганого, ніж корисного". Я б сказав, що це дуже важлива справа, в принципі можливо, що трапилося, і така, яка потребує років роботи, щоб продемонструвати це "поза розумним сумнівом" і справді допомогти вашій дисципліні. Але лише одна чи дві публікації та публікації статей, найімовірніше, (інфекційна статистика) просто розпалюють громадянську війну.

Заключне речення редакції 2015 року:

Ми сподіваємось і передбачаємо, що заборона NHSTP матиме наслідком підвищення якості поданих рукописів, звільняючи авторів від стислій структури мислення NHSTP, тим самим усуваючи важливу перешкоду для творчого мислення. NHSTP протягом десятиліть домінує в психології; ми сподіваємось, що встановивши першу заборону NHSTP, ми продемонструємо, що психологія не потребує сутички NHSTP, і що інші журнали слідують цьому.

Я вважаю, що заборона випробувань гіпотез є чудовою ідеєю, за винятком декількох гіпотез про "існування", наприклад, перевірка нульової гіпотези про відсутність позачуттєвого сприйняття, де всім потрібно буде продемонструвати, що вони мають докази того, що ESP існує - це невипадковість . Але я думаю, що журнал пропустив те, що головним рушієм поганих досліджень в психології є використання порогу значень. Це було продемонстровано в психології і багатьох інших областях, багато азартних ігор продовжує прибувати в . Сюди входить підміна гіпотез, видалення спостережень та підмноження даних. Саме порогові варто спочатку заборонити.$P$$P < 0.05$

Заборона довірчих інтервалів також знаходиться за бортом, але не з тих причин, які заявили інші. Інтервали довіри корисні лише в тому випадку, якщо неправильно інтерпретувати їх як достовірні інтервали Байєса (для відповідних неінформаційних пріорів). Але вони все-таки корисні. Той факт, що їх точне частолістське тлумачення не призводить до нічого, окрім плутанини, означає, що нам потрібно «вийти з ухилення» та піти на байесівську школу чи ймовірність навчання. Але корисні результати можна отримати, неправильно інтерпретуючи старі добрі межі довіри.

Прикро, що редактори журналу неправильно зрозуміли байєсівські статистичні дані і не знають про існування чистого імовірного висновку. Те, що вони шукають, може бути легко забезпечене байєсівськими задніми розподілами, використовуючи трохи скептичні пріори.

Я бачу такий підхід як спробу вирішити нездатність соціальної психології повторити багато опублікованих раніше «значущих висновків».

Його недоліками є:

1. що це не стосується багатьох факторів, що призводять до помилкових наслідків. Наприклад,

   • A) Люди все ще можуть зазирнути до своїх даних і припинити свої дослідження, коли розмір ефекту вражає їх як достатньо великі, щоб викликати інтерес.

   • Б) Великі розміри ефектів все ще матимуть велику силу при ретроспективних оцінках потужності.

   • C) Люди все ще будуть шукати цікаві та великі ефекти (тестуючи купу гіпотез в експерименті, а потім повідомляючи про те, що вискочило) або

   • Г) робити вигляд, що несподіваний дивний ефект очікували весь час.

   Чи не слід докладати зусиль для вирішення цих питань спочатку?

2. По мірі того, як йдеться вперед, це зробить огляд минулих висновків досить жахливим. Немає можливості кількісно оцінити вірогідність різних досліджень. Якщо кожен журнал реалізує такий підхід, у вас з’явиться купа соціологів, які говорять про наявність доказів для X, коли абсолютно незрозуміло, наскільки правдоподібний X, і вчені сперечаються про те, як інтерпретувати опублікований ефект чи сперечаються про те, чи важливий він чи вартий Говорячи про. Хіба це не сенс статистики? Забезпечити послідовний спосіб оцінки чисел. На мою думку, цей новий підхід спричинив би безлад, якби він широко впроваджувався.

3. Ця зміна не спонукає дослідників подавати результати досліджень з невеликими розмірами ефектів, тому вона насправді не стосується ефекту малювання файлів (або вони збираються публікувати результати з великими значеннями незалежно від розміру ефекту?). Якби ми опублікували всі результати ретельно розроблених досліджень, то, незважаючи на те, що правдоподібність результатів окремих досліджень може бути невизначеною, метааналіз та огляди досліджень, які надають статистичний аналіз, зробили б набагато кращу роботу з виявлення істини.

Я натрапив на чудову цитату, яка майже стверджує той самий момент, але не зовсім - оскільки це вступний параграф у підручнику, який стосується здебільшого про тестування частої статистики та перевірки гіпотез.

Нестатисти, як і автор, широко вважають, що якщо ви робите хороші експерименти, статистика не потрібна. Вони цілком праві. [...] Зрозумілий, звичайно, полягає в тому, що робити хороші експерименти складно. Більшість людей потребує всієї допомоги, яку вони можуть отримати, щоб не дати їм дурити себе, стверджуючи, що їх улюблена теорія обґрунтована спостереженнями, які нічого подібного не роблять. І головна функція того розділу статистики, який займається тестами на значущість, - запобігати людям робити дурнів. З цієї точки зору, функція тестів на значущість полягає у тому, щоб запобігати людям публікувати експерименти, а не заохочувати їх. В ідеалі, дійсно, тести на значимість ніколи не повинні з'являтися у друкованих формах, якщо вони взагалі використовувалися на попередніх етапах для виявлення неадекватних експериментів,

- Девід Колхуун, Лекції з біостатистики , 1971