Межа помилок у сімейному режимі: Чи повторне використання наборів даних для різних досліджень незалежних питань призводить до численних проблем тестування?

Якщо команда дослідників виконує декілька (гіпотезних) тестів на даному наборі даних, є обсяг літератури, що стверджує, що вони повинні використовувати певну форму корекції для багаторазового тестування (Бонферроні тощо), навіть якщо тести є незалежними. Моє запитання таке: чи застосовується така сама логіка до кількох команд, які тестують гіпотези на одному наборі даних? Сказав інший спосіб - який бар'єр для сімейних обчислень помилок? Чи слід обмежувати дослідників повторним використанням наборів даних лише для дослідження?

Я категорично не погоджуюся з стрибком @fcoppens від визнання важливості виправлення множинних гіпотез в рамках одного розслідування до твердження, що "За тими самими міркуваннями те ж саме має місце, якщо кілька тестів виконують ці тести".

Не виникає сумніву, що чим більше досліджень буде проведено, і чим більше буде перевірено гіпотез, тим більше буде помилок типу I. Але я думаю, тут існує плутанина щодо значення показників "помилок у сімейному відношенні" та того, як вони застосовуються у фактичній науковій роботі.

По-перше, пам’ятайте, що виправлення для багаторазового тестування зазвичай виникали в помірних порівняннях, для яких не було попередньо сформульованих гіпотез. Зовсім не зрозуміло, що однакові виправлення потрібні, коли існує невеликий заздалегідь визначений набір гіпотез.

По-друге, "наукова правда" окремої публікації не залежить від правдивості кожного окремого висловлювання в межах публікації. Добре продумане дослідження підходить до загальної наукової (на відміну від статистичної) гіпотези з багатьох різних точок зору та збирає різні типи результатів для оцінки наукової гіпотези. Кожен окремий результат може бути оцінений за допомогою статистичного тесту.

Однак, за аргументом @fcoppens, якщо навіть один із цих окремих статистичних тестів допускає помилку типу I, то це призводить до "помилкового переконання" наукової правди ". Це просто неправильно.

"Наукова правда" наукової гіпотези в публікації, на відміну від обгрунтованості індивідуального статистичного тесту, як правило, походить від поєднання різних типів доказів. Наполягання на кількох видах доказів робить обгрунтованість наукової гіпотези надійною для окремих помилок, які неминуче трапляються. Коли я оглядаюсь на свої 50 наукових публікацій, мені важко буде знайти будь-яку, яка залишається такою бездоганною в кожній деталі, як, здається, наполягає @fcoppens. Але я так само важко натискаю, щоб знайти будь-яке, де науковегіпотеза була відвертою помилкою. Неповне, можливо; пізніші розробки в цій галузі, безумовно, зробили неважливими. Але не «неправильно» в контексті тогочасного стану наукових знань.

По-третє, аргумент ігнорує витрати на помилки типу II. Помилка типу II може закрити цілі поля перспективних наукових розвідок. Якщо дотримуватися рекомендацій @fcoppens, коефіцієнт помилок типу II значно зростатиме на шкоду науковому підприємству.

Нарешті, рекомендацію неможливо дотримуватися на практиці. Якщо я проаналізую набір загальнодоступних даних, я, можливо, не можу дізнатися, чи використовував їх хтось інший, або з якою метою. Я не можу виправити чиїсь тести гіпотез. І як я стверджую вище, я не повинен був би цього робити.

$\alpha=5\%$$H_0^{(1)}$$H_1^{(1)}$$H_0^{(2)}$$H_1^{(2)}$

$H_0^{(1)}$$\alpha=5\%$

$1 - (1-\alpha)^2$$\alpha=5\%$$9.75\%$

У тестуванні статистичної гіпотези можна знайти лише статистичні докази альтернативної гіпотези, відкинувши нуль, відкидання нуля дозволяє зробити висновок про наявність доказів на користь альтернативної гіпотези. (див. також Що далі, якщо нам не вдасться відкинути нульову гіпотезу? ).

Отже, хибне відхилення нуля дає нам неправдиві докази, так хибну віру в "наукову істину". Тому слід уникати інфляції цього типу (майже подвоєння помилки I типу); Помилки вищого типу I передбачають більше помилкових переконань, що щось науково доведено . Тому люди "контролюють" тип Ierror на сімейному рівні.

$5\%$

За тими самими міркуваннями те ж саме, якщо декілька команд виконують ці тести (за одними і тими ж даними).

Очевидно, що наведені вище висновки мають місце лише в тому випадку, якщо ми, команди, працюємо над одними і тими ж даними . Чим відрізняється тоді, коли вони працюють на різних зразках?

$\sigma$$H_0: \mu = 0$$H_1: \mu \ne 0$$\alpha=5\%$

$o$$1.96\sigma$$-1.96\sigma$

$5\%$$H_0$$H_0$$\mu=0$$H_0$$o \not \in [-1.96\sigma;1.96\sigma$$H_0$

Тож якщо ми використовуємо ті самі дані, то, можливо, висновки тестів базуються на вибірці, яка була складена з "поганим шансом". З іншим зразком контекст інший.