Якщо будь-який параметричний тест не відхиляє нуль, чи робить його непараметрична альтернатива те саме?

12

Якщо вважається, що непараметричні тести мають меншу потужність, ніж їх параметричні альтернативи, чи означає це, що якщо будь-який параметричний тест не відхиляє нульове значення, то його непараметрична альтернатива також не відхиляє нуль? Як це може змінитися, якщо припущення параметричного тесту не виконуються і тест все одно використовується?

hypothesis-testing nonparametric parametric

— Мирослав Сабо
джерело

4

(а) якщо тест А має меншу потужність, ніж тест В, за певних передбачуваних обставин, це не означає, що випадки, які A буде відхиляти, є підмножиною тих, що знаходяться в B (адже це неможливо при фіксованому рівні значущості); вони відкидають різні (але можливо сильно перекриваються) частини вибіркового простору - завжди є випадки, коли кожен відкине, що інший не буде. (b) Якщо припущення параметричного тесту не виконані (чи реально вони коли-небудь виконувалися?), то параметричні тести можуть мати відносно слабку потужність (наприклад, t-тест проти Манна-Вітні під важкими хвостами)

— Glen_b -Reinstate Monica

9

Якщо параметричний тест не зможе відкинути нульову гіпотезу, то його непараметричний еквівалент однозначно може все-таки відкинути нульову гіпотезу. Як це сказав @John, зазвичай це відбувається, коли припущення, які б вимагають використання параметричного тесту, порушуються. Наприклад, якщо порівнювати двопробний t-тест з тестовим підсумком Wilcoxon, тоді ми можемо отримати цю ситуацію, якщо ми включимо в свої дані інтралієрів (з випускниками ми не повинні використовувати два вибіркових тесту).

#Test Data
x = c(-100,-100,rnorm(1000,0.5,1),100,100)
y = rnorm(1000,0.6,1)

#Two-Sample t-Test
t.test(x,y,var.equal=TRUE)

#Wilcoxon Rank Sum Test
wilcox.test(x,y)

Результати запуску тесту:

> t.test(x,y,var.equal=TRUE)

    Two Sample t-test

data:  x and y 
t = -1.0178, df = 2002, p-value = 0.3089
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -0.6093287  0.1929563 
sample estimates:
mean of x mean of y 
0.4295556 0.6377417 

> 
> wilcox.test(x,y)

    Wilcoxon rank sum test with continuity correction

data:  x and y 
W = 443175, p-value = 5.578e-06
alternative hypothesis: true location shift is not equal to 0

9

Немає.

Хоча параметричні тести можуть бути більш потужними, це не завжди так. Якщо це не так, то це зазвичай у ситуаціях, коли не слід проводити параметричні тести.

Але навіть якщо ви збираєте зразки пристойних розмірів із звичайних розподілів з однаковою дисперсією, де параметричний тест має більшу потужність, це не гарантує, що для будь-якого конкретного експерименту несуттєвий параметричний тест означає несуттєвий непараметричний тест. Ось моделювання, яке просто використовує випадкову вибірку з звичайних розподілів і виявляє, що приблизно 1,8% часу, коли p> 0,05 для t-тесту, що p <0,05 для тесту Вілкоксона.

nsim <- 10000
n <- 50
cohensD <- 0.2
Y <- replicate(nsim, {
    y1 <- rnorm(n, 0, 1); y2 <- rnorm(n, cohensD, 1)
    tt <- t.test(y1, y2, var.equal = TRUE)
    wt <- wilcox.test(y1, y2)
    c(tt$p.value, wt$p.value)})
sum(Y[1,] > 0.05 & Y[2,] < 0.05) / nsim

Ви можете зауважити, що в цьому моделюванні потужність параметричного тесту більша, ніж непараметричний тест (хоча вони схожі).

sum(Y[1,] < 0.05) / nsim #t-test power
sum(Y[2,] < 0.05) / nsim #wilcox.test power

Але, як показано вище, це не означає, що у всіх випадках, коли параметричний тест не в змозі знайти ефект, який не піддається непараметричному тесту.

Ви можете грати з цим моделюванням. Зробіть n досить великим, скажімо, 1000 і зробіть розмір ефекту набагато меншим, скажімо, 0,02 (вам потрібно низьку потужність, щоб було багато зразків, де тест не вдається). Ви можете бути впевнені, що з 1000 з них, що жоден із зразків не буде відхилений за ненормальність (оглядом, не дурним тестом) або мати підозрілі люди. І все-таки деякі параметричні тести виявляються незначними, тоді як непараметричні випробування є вагомими.

Ви також можете поглянути на Hunter & May (1993).

Hunter, MA, & May, RB (1993). Деякі міфи щодо параметричних та непараметричних тестів. Канадська психологія, 34 (4), 384-389.

— Джон
джерело