Чому багаторазове порівняння є проблемою?

Мені важко зрозуміти, що насправді є проблемою із численними порівняннями . З простою аналогією кажуть, що людина, яка прийме багато рішень, зробить багато помилок. Так застосовуються дуже консервативні заходи обережності, як корекція Бонферроні, щоб зробити ймовірність того, що ця людина зробить будь-яку помилку, якнайменше, наскільки це можливо.

Але чому нас хвилює те, чи людина взагалі допустила будь-яку помилку серед усіх прийнятих рішень, а не відсоток неправильних рішень?

Дозвольте спробувати пояснити, що мене бентежить з іншою аналогією. Припустимо, є два судді, одному - 60 років, а другому - 20 років. Тоді виправлення Бонферроні говорить тому, що 20 років має бути максимально консервативним у вирішенні питання про страту, оскільки він ще багато років буде працювати суддею, прийме ще багато рішень, тому йому потрібно бути обережним. Але той, кому 60 років, можливо, скоро піде на пенсію, прийме менше рішень, тож він може бути більш недбалим порівняно з іншим. Але насправді обидва судді повинні бути однаково обережними або консервативними, незалежно від загальної кількості рішень, які вони приймуть. Я думаю, що ця аналогія більш-менш пояснює реальні проблеми, коли застосовується корекція Бонферроні, яку я вважаю контртуативною.

Ви заявили щось, що є класичним протилежним аргументом до виправлень Бонферроні. Чи не повинен я коригувати свій критерій альфа на основі кожного тесту, який я коли-небудь зробив? Цей різновид рекламного абсурду означає, що деякі люди взагалі не вірять у виправлення стилю Бонферроні. Іноді вид даних, з якими вони мають справу у своїй кар’єрі, такий, що це не проблема. Для суддів, які приймають одне або дуже мало рішень щодо кожного нового доказу, це дуже вагомий аргумент. А як щодо судді з 20 підсудними, і хто ґрунтується на своєму судовому висновку на єдиному великому наборі даних (наприклад, військові трибунали)?

Ви ігноруєте удари, які є частиною аргументу. Взагалі вчені шукають щось - р-значення менше альфа. Кожна спроба знайти одного - це ще один удар по консерві. Зрештою, його знайдуть, якщо на нього достатньо пострілів. Тому за це слід штрафувати.

Те, як ви гармонізуєте ці два аргументи, - це усвідомлювати, що вони обоє справжні. Найпростішим рішенням є розглянути тестування відмінностей в одному наборі даних як удару по проблемі, але розширення сфери виправлення поза, що було б слизьким нахилом.

Це справді складна проблема в багатьох сферах, зокрема FMRI, де порівнюються тисячі точок даних, і деякі випадково можуть виникнути як значні. Зважаючи на те, що поле було історично дуже дослідницьким, треба щось зробити, щоб виправити той факт, що сотні областей мозку виглядатимуть істотними суто випадково. Тому в цій галузі було розроблено багато методів коригування критерію.

З іншого боку, у деяких полях можна, максимум, дивитись на 3 - 5 рівнів змінної і завжди просто перевіряти кожну комбінацію, якщо виникає значна ANOVA. Це, як відомо, має деякі проблеми (помилки типу 1), але це не особливо страшно.

Це залежить від вашої точки зору. Дослідник FMRI визнає реальну потребу в зміні критеріїв. Людина, яка дивиться на маленьку ANOVA, може відчути, що там явно щось є з тесту. Правильна консервативна точка зору на декілька порівнянь - це завжди робити щось щодо них, але лише на основі одного набору даних. Будь-які нові дані скидають критерій ... якщо ви не баєс ...

Шановні статистики зайняли найрізноманітніші позиції у кількох порівняннях. Це тонкий предмет. Якщо хтось вважає, що це просто, я б цікавився, наскільки вони про це думали.

Ось цікавий баєсівський погляд на багаторазове тестування від Ендрю Гелмана: Чому ми (зазвичай) не турбуємось про багаторазове порівняння .

Що стосується коментаря раніше, те, що слід пам’ятати досліднику ФМР, полягає в тому, що важливим є клінічно важливий результат, а не зміщення щільності одного пікселя на фМРТ головного мозку. Якщо це не призведе до клінічного поліпшення / шкоди, це не має значення. Це один із способів зменшити занепокоєння щодо кількох порівнянь.

Дивитися також:

1. Бауер, П. (1991). Багаторазове тестування в клінічних випробуваннях. Stat Med, 10 (6), 871-89; дискусія 889-90.
2. Прошан, М. А. та Вацлав, М. А. (2000). Практичні вказівки щодо коригування кратності в клінічних випробуваннях. Контрольні клінічні випробування, 21 (6), 527-39.
3. Rothman, KJ (1990). Немає коригувань для кількох порівнянь. Епідеміологія (Кембридж, Массачусетс), 1 (1), 43-6.
4. Пернегер, телебачення (1998). Що не так з коригуванням bonferroni. BMJ (Clinical Research Ed.), 316 (7139), 1236-8.

Для виправлення ідей: я візьму випадок, коли ви маєте аверс, незалежних випадкових змінних , що для з . Я припускаю, що ви хочете знати, які з них мають нульове значення, формально ви хочете перевірити:$n$$(X_i)_{i=1,\dots,n}$$i=1,\dots,n$ $X_i$$\mathcal{N}(\theta_i,1)$

$H_{0i} : \theta_i=0$ Vs$H_{1i} : \theta_i\neq 0$

Визначення порогу: Ви маєте прийняти рішень, і у вас може бути різна мета. Для даного тесту , безумовно, виберете порог і вирішите не приймати якщо .$n$$i$$\tau_i$$H_{0i}$$|X_i|>\tau_i$

Різні варіанти: Ви повинні вибрати пороги і для цього у вас є два варіанти :$\tau_i$

1. вибирайте однаковий поріг для всіх

2. вибрати різний поріг для всіх (найчастіше поріг даних, див. нижче).

Різні цілі: ці варіанти можна визначити для різних цілей, таких як

• Контроль ймовірності неправильного відхилення для одного або декількох .$H_{0i}$$i$

• Контроль очікування коефіцієнта помилкової тривоги (або помилкової частоти виявлення)

  Що ви коли-небудь є вашою ціллю в кінці, це гарна ідея використовувати порогову кількість даних.

Моя відповідь на ваше запитання: ваша інтуїція пов'язана з основним евристикою щодо вибору порогу даних. Це наступне (за походженням процедури Холма більш потужне, ніж Бонфероні):

Уявіть, що ви вже прийняли рішення щодо найнижчогоі рішення - прийняти для всіх них. Тоді вам доведеться лише порівняти і ви не ризикували неправильно відхилити ! Оскільки ви не використали свій бюджет, ви можете взяти трохи більше ризику для тесту, що залишився, і вибрати більш високий поріг.| X i | H 0 i n - p H 0 $p$$|X_{i}|$$H_{0i}$$n-p$$H_{0i}$

Що стосується ваших суддів: я припускаю (і, мабуть, ви повинні зробити те саме), що обидва судді мають однакові бюджети за помилкове звинувачення на все життя. Суддя 60 років може бути менш консервативним, якщо в минулому він нікого не звинувачував! Але якщо він вже зробив багато звинувачення, він буде більш консервативним і, можливо, навіть більше, ніж наймолодший суддя.

Ілюстративна (і смішна) стаття; http://www.jsur.org/ar/jsur_ben102010.pdf ) про необхідність багаторазової корекції тестування в практичному дослідженні, що розвивається в багатьох змінних, наприклад, fmri. Це коротке цитування говорить про більшу частину повідомлення:

"[...] ми завершили сеанс сканування ФМР з посмертним атлантичним лососем як предмет. Лососі було показано те саме завдання соціального погляду, яке пізніше було застосовано до групи людей."

це, на мій досвід, приголомшливий аргумент, щоб заохотити користувачів використовувати кілька виправлень тестування.