Чи слід звертатися до кількох коригувань порівнянь під час використання довірчих інтервалів?

Припустимо, у нас є декілька сценаріїв порівнянь, таких як пост-хоч висновок по парній статистиці, або як множинна регресія, де ми робимо загальну кількість порівнянь. Припустимо також, що ми хотіли б підтримати умовивід у цих кратних, використовуючи довірчі інтервали.$m$

1. Чи застосовуємо кілька коригувань порівняння до КІ? Тобто, так само, як багаторазове порівняння примушує переосмислити значення на коефіцієнт помилок у сімейному відношенні (FWER) або на помилковий показник виявлення (FDR), має значення впевненість (або достовірність ¹ , або невизначеність, або прогнозування, або inferential ... виберіть свій інтервал) змініть аналогічно багаторазовим порівнянням? Я усвідомлюю, що негативна відповідь тут викличе мої залишилися запитання.$\alpha$

2. Чи є прямий переклад декількох процедур коригування порівняння від тестування гіпотез до інтервальної оцінки? Наприклад, чи коригування було б зосереджено на зміні терміна в інтервалі довіри: ?$\text{CI-level}$$\text{CI}_{\theta} = (\hat{\theta} \pm t_{(1-\text{CI-level)/2}}\hat{\sigma}_{\theta})$

3. Як би ми вирішили процедури поглибленого або поступового контролю для КІ? Деякі коригування рівня помилок щодо сімейного підходу до тестування гіпотез до висновку є "статичними", оскільки в кожному окремому висновку робиться точно однакове коригування. Наприклад, коригування Бонферроні здійснюється шляхом зміни критерію відхилення від:

• відхилити, якщо до:$p\le \frac{\alpha}{2}$
  
• відхилити, якщо ,$p\le \frac{\frac{\alpha}{2}}{m}$

але прискорене регулювання Холма-Бонферроні не є "статичним", а скоріше зроблено:

• спочатку впорядковуючи -значення найменшого до найбільшого, а потім$p$
  
• відхилити, якщо (де індексує впорядкування -значень) до$p\le 1 - (1- \frac{\alpha}{2})^{\frac{1}{m+1-i}}$$i$$p$
  
• ми не можемо відкинути нульову гіпотезу і автоматично не відкидаємо всі наступні нульові гіпотези.

Оскільки відхилення / відмова відхилення не відбувається з CI (більш формально, див. Посилання нижче), чи означає це, що поетапні процедури не перекладаються (тобто включаючи всі методи FDR)? Мені слід зауважити, що я не запитую, як перевести КІ в тести на гіпотези (представники літератури "тестування візуальної гіпотези", наведеної нижче, отримують це нетривіальне питання).

4. Що з будь-яким з тих інших інтервалів, які я згадував у думках у 1?

¹ Боже, я сподіваюся, що я не зіткнуся з тими, хто заспокоює милі, милі байєсські стилі, використовуючи тут це слово. :)

Список літератури
Afshartous, D. and Preston, R. (2010). Інтервали довіри залежних даних: Прирівнювання неперекриття зі статистичною значимістю. Обчислювальна статистика та аналіз даних , 54 (10): 2296–2305.

Куммінг, Г. (2009). Висновок очей: зчитування накладання незалежних довірчих інтервалів. Статистика медицини , 28 (2): 205–220.

Payton, ME, Greenstone, MH, and Schenker, N. (2003). Перекриваються довірчі інтервали або стандартні інтервали помилок: що вони означають у статистичному значенні? Журнал науки про комах , 3 (34): 1–6.

Tryon, WW та Lewis, C. (2008). Метод інтерференційного довірчого інтервалу для встановлення статистичної еквівалентності, який коригує коефіцієнт зниження Триона (2001). Психологічні методи , 13 (3): 272–277.

Відмінна тема, якій, на жаль, приділено недостатньо уваги.

Під час обговорення декількох параметрів та довірчих інтервалів слід розрізняти одночасний висновок та вибіркове висновок. [2] дає чудову демонстрацію справи.

$1-\alpha$

Ці два поняття можна комбінувати: Скажіть, ви будуєте інтервали лише на параметрах, щодо яких ви відхилили нульову гіпотезу. Ви чітко маєте справу з селективним висновком. Ви можете гарантувати одночасне охоплення вибраних параметрів або граничне покриття вибраних параметрів. Перший був би аналогом FWER-контролю, а другий - FDR-контролем.

Тепер ще до речі: Не всі процедури тестування мають супутні інтервали. Про процедури FWER та їх супутні інтервали див. [3]. На жаль, ця посилання трохи застаріла. Інформацію про контроль інтервалу BH FDR див. [1] та додаток у [4] (який також включає короткий огляд цього питання). Зауважте, що це свіже та активне науково-дослідне поле, щоб ви могли очікувати більше результатів у найближчому майбутньому.

[1] Бенджаміні, Ю. та Д. Єкутіелі. “Неправильне встановлення частоти відкриття, скориговане декількома інтервалами довіри для вибраних параметрів”. 469 (2005): 71–81.

[2] Кокс, ДР «Зауваження щодо кількох методів порівняння». Технометрія 7, вип. 2 (1965): 223–24.

[3] Хохберг, Ю. та Тамайн. Кілька процедур порівняння Нью-Йорк, Нью-Йорк, США: John Wiley & Sons, Inc., 1987.

[4] Розенблат, Дж. Д. та Бенджаміні. «Вибіркові кореляції; Не вуду ». NeuroImage 103 (грудень 2014 р.): 401–10.

Я б ніколирегулювати довірчі інтервали для багаторазового тестування. Я не є великим прихильником р-значень, тому що я вважаю, що оцінювання параметрів є кращим використанням статистики, ніж тестування гіпотез, які ніколи не відповідають дійсності. Однак я визнаю, що тестування гіпотез має свою цінність, скажімо, рандомізоване контрольоване випробування, де принаймні можна стверджувати, що асимптотично, якщо лікування не працює, нульова гіпотеза є вірною. Однак, як я вже говорив в іншому місці [1], зазвичай це пов'язано з одним первинним результатом. Однак довірчі інтервали, у частофілістському визначенні, не передбачають гіпотез, і тому вони не потребують коригування для інших, потенційно нерелевантних порівнянь. Припустимо, я тестував фенотипи, пов'язані з певним геном, скажімо, зріст і артеріальний тиск. Я ' я хотів би знати, наскільки велика різниця у зрості між особами з геном і без нього, і наскільки добре я це оцінив. Я не бачу, що той факт, що я також вимірював артеріальний тиск, не має нічого спільного. Де могло бути важливо, що якби ці двоє були єдиними значущими з сотні, яких ми перевірили. Тоді цілком ймовірно, що різниці випадково перевищують очікувані контрфактичні експерименти, де ми вимірювали лише висоту та артеріальний тиск, але зробили це сотні експериментів. Однак за таких обставин не вдасться просту коригування, і краще дати невідрегульовану оцінку, але зрозуміти, як ви отримали ці порівняння. Ми також опублікували деякі результати щодо перекриваючих довірчих інтервалів. [2] не бачу, що той факт, що я також вимірював артеріальний тиск, не має нічого спільного. Де могло бути важливо, що якби ці двоє були єдиними значущими з сотні, яких ми перевірили. Тоді цілком ймовірно, що різниці випадково перевищують очікувані контрфактичні експерименти, де ми вимірювали лише висоту та артеріальний тиск, але зробили це сотні експериментів. Однак за таких обставин не вдасться просту коригування, і краще дати невідрегульовану оцінку, але зрозуміти, як ви отримали ці порівняння. Ми також опублікували деякі результати щодо перекриваючих довірчих інтервалів. [2] не бачу, що той факт, що я також вимірював артеріальний тиск, не має нічого спільного. Де могло бути важливо, що якби ці двоє були єдиними значущими з сотні, яких ми перевірили. Тоді цілком ймовірно, що різниці випадково перевищують очікувані контрфактичні експерименти, де ми вимірювали лише висоту та артеріальний тиск, але зробили це сотні експериментів. Однак за таких обставин не вдасться просту коригування, і краще дати невідрегульовану оцінку, але зрозуміти, як ви отримали ці порівняння. Ми також опублікували деякі результати щодо перекриваючих довірчих інтервалів. [2] більший, ніж очікувані зустрічні експерименти, де ми вимірювали лише висоту та артеріальний тиск, але робили це сотні експериментів. Однак за таких обставин не вдасться просту коригування, і краще дати невідрегульовану оцінку, але зрозуміти, як ви отримали ці порівняння. Ми також опублікували деякі результати щодо перекриваючих довірчих інтервалів. [2] більший, ніж очікувані зустрічні експерименти, де ми вимірювали лише висоту та артеріальний тиск, але робили це сотні експериментів. Однак за таких обставин не вдасться просту коригування, і краще дати невідрегульовану оцінку, але зрозуміти, як ви отримали ці порівняння. Ми також опублікували деякі результати щодо перекриваючих довірчих інтервалів. [2]

[1] Статистика Кемпбелла MJ та Swinscow TDV (2009) Статистика на першій площі. 11-е видання Оксфорда; BMJ Книги Блеквелл

[2] Julious SA, Campbell MJ, Walters SJ (2007) Прогнозуючи, де будуть лежати майбутні засоби, виходячи з результатів поточного судового розгляду. Сучасні клінічні випробування, 28, 352-357.