Що може бути чітким, практичним визначенням для "сім'ї гіпотез" (стосовно рівня помилок у сімейному режимі)?

Коли я намагався оцінити, що являє собою сімейні гіпотези в рамках експерименту / проекту / аналізу, я виявив "подібні за призначенням" та "подібні за змістом", що даються як рекомендації щодо розмежування сімей, але вони залишають досить багато відкритих для тлумачення ( щонайменше).

Здається зрозумілим, що якщо в ході аналізу я роблю кілька тестів групових засобів і окрему групу тестів однорідності пропорцій, я б не згуртовував все це в єдине сімейство гіпотез.

Однак якщо у мене є кілька партій дещо пов'язаних тестів групових засобів, то який критерій об'єднує їх у сім'ю (або розбиває їх на окремі сім'ї)? Чи повинні всі члени сім’ї мати однакову змінну відповідей? Якби у мене були різні змінні відповіді, але один і той самий набір випадків, чи всі вони входили б у групу гіпотез?

Питання численних порівнянь - це дійсно велика тема. Було багато думок і багато розбіжностей. Це пов’язано з багатьма речами; серед інших, це частково тому, що питання дійсно важливе, а частково тому, що насправді немає остаточного правила чи критерію. Візьміть прототипний випадок: ви проводите експеримент із$k$лікування та отримати значну ANOVA, тож тепер вам цікаво, які засоби лікування відрізняються. Як вам це робити, біжіть$k(k-1)/2$t-тести? Хоча ці випробування проходили б індивідуально$\alpha$ в .05, "сімейний" $\alpha$(тобто ймовірність виникнення принаймні 1 помилки типу I) вибухне. Насправді коефіцієнт помилок у сімейному режимі буде$1-(1-\alpha)^k$. Питання в тому, що визначає "сім'ю"? І немає остаточної відповіді, окрім тривіального, що «сім'я» є сукупністю контрастів. Чи будь-який конкретний набір контрастів слід вважати сімейним - це суб'єктивне рішення. 3-й, 17-й та 42-й аналізи, які я коли-небудь проводив у своєму житті, є сукупністю контрастів, і я міг би скорегувати свою$\alpha$Поріг гарантувати, що ймовірність помилок I типу серед них знаходилась на рівні 5%, але ніхто не вважає це чуттєвим. Питання до вас полягає в тому, чи вважаєте ви свої контрасти сукупністю в змістовному сенсі, і тільки ви можете зробити це судження. Я запропоную кілька стандартних підходів. Багато аналітиків вважають, що якщо набір контрастів походить від одного і того ж експерименту / набору даних, вони повинні трактуватися як сім'я та процедури (наприклад,$\alpha$коригування) необхідні. Інші вважають, що навіть тоді, коли контрасти походять від одного й того ж експерименту, якщо вони є апріорними та ортогональними, особливих процедур не потрібно. Обидві ці позиції можна захищати. Нарешті, зауважимо також, що процедури контролю за рівнем помилок у сімейному режимі йдуть ціною - а саме. підвищений рівень помилок II типу.

Критерій полягає в тому, що гіпотези взаємозалежні в тому сенсі, що якщо одна з них порушується, тоді весь ваш висновок або теорія порушується. Отже, вам потрібна гарантія, що якщо всі тести є важливими, жоден з них не є значущим помилковим.

Дискусія на Researchgate ( http://www.researchgate.net/post/Bonferroni-how_is_the_family_of_hypotheses_defined ) надала перелік робіт, які можуть допомогти зібрати думки - статті насправді починаються з питання "коли застосовувати виправлення в декількох тестових ситуаціях ". Документи, які цитуються часто, - це:

1) Ротман К.Д. Немає коригувань для кількох порівнянь. Епідеміологія.1990; 1 (1): 43-6. http://psg-mac43.ucsf.edu/ticr/syllabus/courses/9/2003/02/27/Lecture/readings/Rothman.pdf

2) Телевізор Perneger. Що не так з коригуваннями Bonferroni. BMJ. 1998; 316 (7139): 1236-8. http://static.sdu.dk/mediafiles/D/1/F/%7BD1F06030-8FA7-4EE2-BB7D-60D683B18EAA%7DWhat_s-wrong%20_with_Bonferroni_adjustments.BMJ.1998.pdf

3) Bender R, Lange S. Регулювання багаторазового тестування - коли і як? J Clin Epidemiol. 2001; 54: 343-9. http://www.rbsd.de/PDF/multiple.pdf

Підсумок:

1) та 2) зосередження уваги на "всі нульові гіпотези є істинними", що називається загальною нульовою гіпотезою. Він може бути більш правильним відхиленням (тобто відсутністю альфа-кумуляції), якщо застосовуються коригування для кількох порівнянь. Однак і 1), і 2) заперечують проти того, що загальна нульова гіпотеза рідко повністю використовується в процесі наукових досліджень - тому критерій "вся теорія порушується" не застосовується автоматично, коли одна / частина нульових гіпотез у ваших даних аналіз відкидаються випадково. 1) додає, що наївно думати про єдині нульові гіпотези, які були (помилково) відкинуті, більше ніколи не переглянеться науковою спільнотою.

3) констатує, що як тільки одна гіпотеза переплавиться в одному аргументі, коригування необхідно зробити.

З моєї точки зору 1), 2), 3) разом просто дзеркально, наскільки ретельно ми повинні критерій "вся теорія порушує". Не існує й способу просто помістити всі нульові гіпотези в одну велику ковбасу - ні спосіб покластися на шматочки ковбаси, представлені стільки ж одиничних гіпотез. Це там, де емпірична робота дійсно відповідає роботі з теорією з досліджуваної області.