Невеликі та незбалансовані розміри вибірки для двох груп - що робити?

У мене є дані для двох груп (тобто вибірки), які я хочу порівняти, але загальний розмір вибірки невеликий (n = 29) і сильно незбалансований (n = 22 проти n = 7).

Ці дані є логістично складними і дорогими для збору, тому, хоча "зібрати більше даних" як очевидне рішення в цьому випадку не корисно.

Було виміряно ряд різних змінних (дата відправлення, дата прибуття, тривалість міграції тощо), тому існує кілька тестів, деякі з яких дисперсії сильно відрізняються (менший зразок має більшу дисперсію).

Спочатку колега проводив t-тести на ці дані, а деякі були статистично значущими з P <0,001, інші не мали значущості при P = 0,069. Деякі зразки зазвичай розподілялися, інші - не. Деякі тести передбачали великі відхилення від «рівних» дисперсій.

У мене є кілька питань:

1. чи підходять t-тести тут? Якщо ні, то чому? Чи застосовується це лише до тестів, де задовольняються припущення про нормальність та рівність відхилень?
2. що є підходящою альтернативою? Можливо тест на перестановку?
3. нерівна дисперсія надуває помилку типу I, але як? і який вплив має невеликий неврівноважений розмір вибірки на помилку I типу?

Т-тести, які передбачають однакові відхилення двох популяцій, не є дійсними, коли обидві групи мають різні відхилення, і це гірше для неоднакових розмірів вибірки. Якщо найменший розмір вибірки - найвища дисперсія, тест матиме завищену помилку типу I). Версія t-тесту Welch-Satterthwaite, з іншого боку, не передбачає рівних відмінностей. Якщо ви думаєте про тест на перестановку Фішера-Пітмана, він також передбачає однакові відмінності (якщо ви хочете зробити висновок про нерівні засоби з низького p-значення).

Є ще ряд речей, про які ви можете подумати:

(1) Якщо дисперсії явно неоднакові, ви все ще настільки зацікавлені в різниці між засобами?

(2) Чи можуть оцінки ефекту корисніші для вас, ніж значення p?

(3) Ви хочете розглянути багатоваріантність ваших даних, а не просто робити ряд одновимірних порівнянь?

По-перше, як вже зазначає Скорчі, T-тест не так добре підходить для ваших даних через його припущення щодо розподілу даних.

До вашого другого моменту я б запропонував альтернативу Т-тесту. Якщо ваш інтерес стосується лише того факту, якщо розподіли ваших двох зразків рівні чи ні, ви також можете спробувати скористатися двосторонньою версією тесту Вілкоксона за рангом. Тест Вілкоксона за ранговою сумою - непараметричний тест. Цей вид тесту особливо корисний, якщо ви не впевнені в базовому розподілі своїх даних.

Існує точне рішення тесту для невеликих розмірів зразків, а також для великих груп. Крім того, існує також пакет R, який реалізує тест Вілкоксона за ранговою сумою.

Оскільки це тест без параметрів, а також обробляє невеликі розміри вибірки, тест повинен добре відповідати вашому тестовому випадку.