Що не так з коригуваннями Bonferroni?

Я прочитав наступний документ: Perneger (1998) Що не так з коригуваннями Bonferroni .

Автор підсумував, сказавши, що коригування Бонферроні мають, у кращому випадку, обмежене застосування у біомедичних дослідженнях і не повинні використовуватися при оцінці доказів конкретної гіпотези:

Підсумки:

• Регулювання статистичної значущості кількості тестів, проведених за даними дослідження - метод Бонферроні - створює більше проблем, ніж вирішує
• Метод Бонферроні стосується загальної нульової гіпотези (про те, що всі нульові гіпотези є істинними одночасно), що рідко представляє інтерес або користь для дослідників
• Основна слабкість полягає в тому, що інтерпретація знахідки залежить від кількості інших проведених тестів
• Ймовірність помилок II типу також збільшується, так що справді важливі відмінності вважаються незначними
• Просте опис того, які тести на важливість були виконані, і чому, як правило, є найкращим способом вирішення кількох порівнянь

У мене є наступний набір даних, і я хочу зробити кілька виправлень тестування, Але я не в змозі визначитися з найкращим методом у цьому випадку.

Мені хочеться знати, чи вкрай важливо робити цей вид корекції для всіх наборів даних, що містять списки засобів і який найкращий метод виправлення в цьому випадку?

Що не так з корекцією Бонферроні, окрім консерватизму, згаданого іншими, - це те, що не так у всіх виправленнях кратності. Вони не випливають із основних статистичних принципів і є довільними; не існує єдиного вирішення проблеми множинності у частістському світі. По-друге, коригування кратності базується на основоположній філософії, що достовірність одного твердження залежить від того, які інші гіпотези розважаються. Це еквівалентно настройці Байєса, де попередній розподіл для параметра, що цікавить, стає більш консервативним, оскільки враховуються інші параметри. Це, здається, не є цілісним. Можна сказати, що такий підхід походить від того, що дослідники були «спалені» історією помилкових позитивних експериментів, і тепер вони хочуть компенсувати свої проступки.

Щоб трохи розширитись, розглянемо наступну ситуацію. Дослідник онкології зробив кар’єру з вивчення ефективності хіміотерапії певного класу. Усі попередні 20 її рандомізованих випробувань призвели до статистично незначної ефективності. Зараз вона тестує нову хіміотерапію в тому ж класі. Перевага виживання є значним при $P=0.04$. Колега зазначає, що була вивчена друга кінцева точка (усадка пухлини) і що для результату виживання потрібно застосувати коригування кратності, що робить незначну користь для виживання. Як же так, що колега наголосив на другій кінцевій точці, але не міг менше піклуватися про коригування 20 попередніх невдалих спроб знайти ефективний препарат? І як би ви взяли до уваги попередні знання про 20 попередніх досліджень, якби ви не були баєсами? Що робити, якщо не було другої кінцевої точки. Чи вірив би колега, що користь для виживання була продемонстрована, ігноруючи всі попередні знання?

Він підсумував, сказавши, що коригування Бонферроні має, у кращому випадку, обмежене застосування в біомедичних дослідженнях і не повинно використовуватися при оцінці доказів конкретної гіпотези.

Корекція Бонферроні є однією з найпростіших і найбільш консервативних методик багаторазового порівняння. Він також є одним із найдавніших і з часом значно покращився. Справедливо сказати, що коригування Bonferroni мають обмежене застосування майже у всіх ситуаціях. Краще підходить кращий підхід. Тобто, вам потрібно буде виправити кілька порівнянь, але ви можете вибрати метод, який менш консервативний і більш потужний.

Менш консервативний

Кілька методів порівнянь захищають від отримання хоча б одного помилкового позитивного в сімействі тестів. Якщо ви виконаєте один тест на рівні то ви дозволяєте 5% шансів отримати хибний позитив. Іншими словами, ви відкидаєте свою нульову гіпотезу помилково. Якщо ви виконаєте 10 тестів на рівні α = 0,05, це збільшується до 1 - ( 1 - 0,05 ) 10 = ~ 40% шанс отримати помилковий позитив$\alpha$$\alpha = 0.05$$1-(1-0.05)^{10}$

За допомогою методу Бонферроні ви використовуєте на нижньому кінці шкали (тобто α b = α / n ), щоб захистити своє сімейство з n тестів на рівні α . Іншими словами, він найбільш консервативний. Тепер ви можете збільшити α b вище нижньої межі, встановленої Bonferroni (тобто зробити ваш тест менш консервативним) і все одно захистити свою сім'ю тестів на рівні α . Існує багато способів зробити це, наприклад, метод Холма-Бонферроні, або, ще краще, помилковий показник виявлення$\alpha_b$$\alpha_b = \alpha/n$$n$$\alpha$$\alpha_b$$\alpha$

Більш потужний

Хорошим моментом, згаданим у статті, є те, що ймовірність помилок типу II також збільшується, так що справді важливі відмінності вважаються несуттєвими.

Це дуже важливо. Потужний тест - це те, що знаходить значні результати, якщо вони існують. Використовуючи корекцію Бонферроні, ви закінчуєте менш потужний тест. Оскільки Бонферроні консервативний, потужність, ймовірно, буде значно знижена. Знову ж таки, один із альтернативних методів, наприклад, помилковий показник виявлення, підвищить потужність тесту. Іншими словами, ви не тільки захищаєте від помилкових позитивних результатів, але й покращуєте свою здатність знаходити справді значущі результати.

Так що так, вам слід застосувати певну техніку корекції, коли у вас є кілька порівнянь. І так, Бонферроні, мабуть, слід уникати на користь менш консервативного та більш потужного методу

Томас Пернегер не є статистиком, і його робота сповнена помилок. Тож я б не сприймав це занадто серйозно. Це насправді піддавали сильній критиці з боку інших. Наприклад, Ейкін сказав, що праця Пернегера "складається майже повністю з помилок": Ейкін, "Існує інший метод коригування багаторазового тестування", BMJ. 1999 р. 9 січня; 318 (7176): 127.

Крім того, жодне з p-значень у початковому запитанні не має значення <0,05, навіть без коригування кратності. Тому, мабуть, не має значення, яке коригування використовується (якщо воно є).

Можливо, добре пояснити "міркування", що випливають з декількох виправлень тестування, таких як Bonferroni. Якщо це зрозуміло, ви зможете самі судити про те, чи слід застосовувати їх чи ні.

$\mu$$H_0: \mu=0$

$H_1: \mu \ne 0$$H_0: \mu = 0$$\alpha$

$H_0$$H_0$

$H_0$$H_0$$H_1$

Неправдиві докази - це погана річ у науці, оскільки ми вважаємо, що ми отримали справжні знання про світ, але насправді ми могли мати невдачу із зразком. Отже, такі помилки слід контролювати. Тому слід встановити верхню межу ймовірності подібного роду доказів, або слід контролювати помилку типу I. Це робиться шляхом попереднього встановлення прийнятного рівня значущості.

$5\%$$H_0$$5\%$$H_0$$H_1$$H_1$

$H_0: \mu_1=0 \& \mu_2=0$$H_1: \mu1 \ne 0 | \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}: \mu_1=0$$H_0^{(1)}: \mu_1 \ne 0$$H_1^{(2)}: \mu_2=0$$H_1^{(2)}: \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}$$H_0^{(1)}$

$1-(1-0.05)^2=0.0975$$\alpha$

Тут важливим фактом є те, що два тести засновані на одному та зразку sampe!

Зауважимо, що ми здобули незалежність. Якщо ви не можете взяти на себе незалежність, ви можете показати, використовуючи нерівність Бонферроні $, що помилка I типу може бути розширена до 0,1.

Зауважте, що Бонферроні є консервативним і що поетапна процедура Холма дотримується тих же припущень, що і для Бонферроні, але процедура Холма має більшу силу.

Коли змінні дискретні, краще використовувати тестову статистику на основі мінімального p-значення, і якщо ви готові відмовитися від контролю помилок типу I, коли робите величезну кількість тестів, то процедури False Discovery Rate можуть бути більш потужними.

Редагувати:

Якщо, наприклад, (див. Приклад у відповіді @Frank Harrell)

$H_0^{(1)}: \mu_1=0$$H_1^{(1)}: \mu_1 \ne 0$

$H_0^{(2)}: \mu_1=0$$H_1^{(2)}: \mu_2 \ne 0$

$H_0^{(12)}: \mu_1=0 \& \mu_2 = 0$$H_1^{(12)}: \mu_1 \ne 0 | \mu_2 \ne 0$

$H_0^{(1)}$$H_1^{(1)}$$H_0^{(2)}$$H_1^{(2)}$

Приємне обговорення коригування Бонферроні та розміру ефекту http://beheco.oxfordjournals.org/content/15/6/1044.full.pdf+html Також альтернативу корекції Данна-Сидака та комбінований підхід Фішера варто розглядати як альтернативу. Незалежно від підходу, варто повідомити про скориговані та необроблені p-значення плюс розмір ефекту, щоб читач мав свободу їх інтерпретувати.

Для одного він надзвичайно консервативний. Метод Холма-Бонферроні виконує те, що досягається методом Бонферонні (контроль за частотою помилок сімейної мудрості), одночасно є рівномірно більш потужним.

Слід розглядати методи "Помилкового виявлення" як менш консервативну альтернативу Бонферроні. Побачити

Джон Д. Сторі, "ПОЗИТИВНІ РОЗКРИТТЯ ЛІЖИ: БАЙЕЗСЬКА ІНТЕРПРЕТАЦІЯ ТА ЗНАЧЕННЯ", "Аннали статистики 2003, т. 31, № 6, 2013–2035.