Чи ЛСД Фішера настільки поганий, як кажуть, що це?

Коли ми проводимо експерименти (на невеликих розмірах вибірки (зазвичай розмір вибірки на групу лікування становить приблизно 7 ~ 8)) на двох групах, ми використовуємо t-тест для перевірки на різницю. Однак, коли ми виконуємо ANOVA (очевидно, для більш ніж двох груп), ми використовуємо щось по лінії Bonferroni (LSD / # попарних порівнянь) або Tukey як пост-хок, і як студент, мене відсторонили від використовуючи найменшу істотну різницю Фішера (LSD).

Тепер річ у тому, що LSD схожий на парний t-тест (я правий?), І єдине, на що він не враховує, це те, що ми робимо кілька порівнянь. Наскільки важливо, якщо мати справу з 6 групами, якщо ANOVA сама по собі значна?

Або іншими словами, чи є якась наукова / статистична причина використання LSD Фішера?

LSD Фішера - це справді серія парних t-тестів, при цьому кожен тест використовує середню помилку квадрата від значущої ANOVA як свою об'єднану оцінку дисперсії (і, природно, приймаючи пов'язані ступені свободи). Те, що ANOVA має значення, є додатковим обмеженням цього тесту.

Він обмежує рівень помилок у сімейному режимі до альфа лише в спеціальному випадку для 3 груп. Хоуелл має дуже хороше і відносно просте пояснення того, як це робиться в главі 16 своєї книги " Основні статистики наук про поведінку", 8-е видання, Девід К. Хоуелл .

Вище 3 групи альфа швидко надувається (як @Alexis зазначав вище). Це, звичайно, не підходить для 6 груп. Я вважаю, що саме ця обмежена застосовність змушує більшість людей запропонувати ігнорувати це як варіант.

Наскільки важливі багаторазові порівняння при роботі з 6 групами? Ну ... з шістьма групами ви маєте максимум можливихпост-спеціальнихпарних порівнянь. Я дозволю неоціненному Рендаллу Манро вирішити важливість багаторазових порівнянь:$\frac{6(6-1)}{2} = 15$

І додам, що якщо, як і у вашому вступному реченні, ви припускаєте, що іноді у вас є сім груп, то максимальна кількість пост-спеціальних парних тестів становить $\frac{7(7-1)}{2} = 21$

Тест Фішера настільки ж поганий, як усі кажуть, що це з точки зору Неймана-Пірсона, і якщо ви зробите те, що має на увазі ваше питання, - після значного тестування ANOVA кожна індивідуальна різниця. Це можна побачити в багатьох опублікованих роботах . Але тестувати всі відмінності після ANOVA чи будь-якої з них не потрібно і не рекомендується. І тест Фішера не розроблявся в рамках теорії Неймана-Пірсона про статистичні умовиводи.

Важливо пам’ятати, що, коли Фішер запропонував LSD, він насправді не вважав багаторазове тестування важливою проблемою, оскільки він не вважав відсічення значущості важким і швидким правилом для вирішення того, важливі чи ні результати. Можна створити LSD як простий спосіб вивчити дані там, де можуть бути значні результати, але не арбітр того, що було значимим. Пам'ятайте, саме Фішер сказав, що вам слід просто запустити більше предметів, якщо p > 0,05.

І чому ви вважаєте, що тестувати все - це гарна ідея? Подумайте, чому ви запускаєте ANOVA в першу чергу. Вас, напевно, вчили, що це тому, що запустити кілька тестів проблематично, як і ви інтимні у своєму питанні. Тоді навіщо ви їх запускаєте, або їх еквівалент згодом? Я знаю, що це відбувається, але мені ще ніколи не потрібно було проходити тест після ANOVA. ANOVA повідомляє вам, що ваш шаблон даних не є набором рівних значень, що там може бути якийсь сенс. Багато людей зависають від застереження, що тест не підкаже, де значущі біти, але вони забувають, що про це говорять дані та теорії.

Міркування, що стоять за LSD Фішера, можуть бути поширені на випадки, що перевищують N = 3

Я детально обговорюю справу чотирьох груп. Щоб утримати помилку сімейного типу типу I на рівні 0,05 або нижче, достатньо коефіцієнта корекції множинного порівняння 3 (тобто альфа-порівняння 0,05 / 3), хоча серед чотирьох груп є шість пост-спеціальних порівнянь. Це відбувається тому:

• у випадку, якщо всі чотири справжні засоби рівні, омнібус Анова над чотирма групами обмежує показник помилок у сімейному режимі до 0,05;
• якщо три справжні засоби рівні, а четверте відрізняється від них, є лише три порівняння, які потенційно можуть призвести до помилки типу I;
• якщо два справжні засоби рівні і відрізняються від інших двох, які однакові між собою, є лише два порівняння, які потенційно можуть призвести до помилки типу I.

Це вичерпує можливості. У всіх випадках ймовірність виявити одне або більше p -значень нижче 0,05 для груп, чиї справжні засоби рівні, залишається на рівні або нижче 0,05, якщо поправочний коефіцієнт для декількох порівнянь становить 3, і це визначення коефіцієнта помилок у сімейному режимі.

Це міркування для чотирьох груп є узагальненням пояснення Фішера для його методу найменш суттєвих відмінностей у трьох групах. Для N груп поправочний коефіцієнт, якщо тест Омнібуса Анова є значущим, дорівнює ( N -1) ( N -2) / 2. Тож корекція Бонферроні коефіцієнтом N ( N -1) / 2 занадто сильна. Досить використовувати альфа-коригуючий коефіцієнт 1 для N = 3 (саме тому LSD Фішера працює для N = 3), коефіцієнт 3 для N = 4, коефіцієнт 6 для N = 5, коефіцієнт 10 для N = 6 тощо.