Послідовне тестування гіпотез у фундаментальній науці

Я фармаколог, і, за моїм досвідом, майже всі статті в базових біомедичних дослідженнях використовують t-тест Стьюдента (або для підтримки висновку, або для відповідності очікуванням ...). Пару років тому мені стало відомо, що t-тест Стьюдента - не найефективніший тест, який може бути використаний: послідовні тести пропонують набагато більше енергії для будь-якого розміру вибірки або набагато менший розмір вибірки в середньому для еквівалентної потужності.

Послідовні процедури різної складності використовуються в клінічних дослідженнях, але я ніколи не бачив жодної, яка використовується в базовій публікації біомедичних досліджень. Зауважу, що вони також відсутні у підручниках зі статистики вступного рівня, що є всім, що, ймовірно, бачать більшість основних вчених.

Моє запитання тричі:

1. Враховуючи дуже істотну перевагу ефективності послідовних тестів, чому вони не використовуються більш широко?
2. Чи є недолік, пов’язаний із застосуванням послідовних методів, який би означав, що їх використання нестатистами слід не допустити?
3. Чи навчають студентів статистику щодо послідовних процедур тестування?

Я не знаю багато послідовних тестів та їх застосування за межами проміжного аналізу (Jennison and Turnbull, 2000) та комп'ютерного адаптивного тестування (van der Linden and Glas, 2010). Один виняток - у деяких дослідженнях fMRI, які пов’язані з великими витратами та труднощами із зарахуванням предметів. В основному, в цьому випадку послідовне тестування в першу чергу має на меті зупинити експеримент раніше. Тож я не здивований, що ці дуже спеціалізовані підходи не викладаються у звичайних статистичних класах.

Послідовні тести не позбавлені своїх підводних каменів (помилки типу I та II повинні бути визначені заздалегідь, вибір правила зупинки та багаторазовий перегляд результатів повинні бути виправданими, значення p не розподіляється рівномірно під нулем, як у фіксованому зразковий дизайн тощо). У більшості проектів ми працюємо із заздалегідь заданими експериментальними установками або було проведено попереднє дослідження потужності, щоб оптимізувати якийсь критерій економічності, у цьому випадку застосовуються стандартні процедури тестування.

Однак я виявив, що наступний документ від Майка Діркеса про конструкцію з фіксованим та відкритим зразком дуже цікавий: претензія на послідовні розробки експериментів .