Чи може ANOVA бути значущим, якщо жоден з парних t-тестів не є?

Чи можливо односторонній (з групами або "рівнями") ANOVA повідомити про істотну різницю, коли жоден з парних t-тестів не робить?$N>2$$N(N-1)/2$

У цій відповіді @whuber написав:

Добре відомо, що глобальний тест ANOVA F може виявити різницю засобів навіть у тих випадках, коли жоден індивідуальний [невідрегульований парний] t-тест жодної з парних засобів не дасть значного результату.

так мабуть це можливо, але я не розумію як. Коли це відбувається і якою буде інтуїція за таким випадком? Може хтось може надати простий іграшковий приклад такої ситуації?

Деякі подальші зауваження:

1. Очевидно можливе протилежне: загальна ANOVA може бути несуттєвою, тоді як деякі парні t-тести помилково повідомляють про значні відмінності (тобто, це було б помилковим спрацьовуванням).

2. Моє запитання стосується стандартних, невідрегульованих для багаторазових порівнянь t-тестів. Якщо використовуються скориговані тести (наприклад, процедура HSD Tukey), можливо, жоден з них не виявиться суттєвим, навіть якщо загальна ANOVA є. Це висвітлюється тут у кількох питаннях, наприклад, як я можу отримати значну загальну ANOVA, але немає значних парних відмінностей від процедури Tukey? та істотна взаємодія ANOVA, але несуттєві парні порівняння .

3. Оновлення. Моє питання спочатку відносилося до звичайних Двухвиборочний попарно т-тестів. Однак, як @whuber вказував у коментарях, в контексті ANOVA t-тести зазвичай розуміють як пост-спеціальні контрасти, використовуючи оцінку ANOVA для дисперсії всередині групи, об'єднану для всіх груп (що не відбувається у двох -пробний t-тест). Тож насправді є дві різні версії мого питання, і відповідь на обидва вони виявляється позитивною. Дивись нижче.

Примітка. У моєму оригінальному прикладі щось не так. Я тупо потрапив у безшумну аргументацію Р. Мій новий приклад досить схожий на мій старий. Сподіваємось, все зараз.

Ось приклад, який я зробив, який має значення ANOVA на рівні 5%, але жодне з 6 парних порівнянь не є істотним, навіть на рівні 5% .

Ось дані:

g1:  10.71871  10.42931   9.46897   9.87644
g2:  10.64672   9.71863  10.04724  10.32505  10.22259  10.18082  10.76919  10.65447 
g3:  10.90556  10.94722  10.78947  10.96914  10.37724  10.81035  10.79333   9.94447 
g4:  10.81105  10.58746  10.96241  10.59571

Ось ANOVA:

             Df Sum Sq Mean Sq F value Pr(>F)  
as.factor(g)  3  1.341  0.4469   3.191 0.0458 *
Residuals    20  2.800  0.1400        

Ось два зразкових t-тестових p-значень (припущення про рівну дисперсію):

        g2     g3     g4
 g1   0.4680 0.0543 0.0809 
 g2          0.0550 0.0543 
 g3                 0.8108

Якщо трохи більше сподобається з груповими засобами або окремими точками, різниця в значущості могла б бути більш вражаючою (оскільки я міг би зробити перше значення p меншим і найнижчим з набору шести p-значень для t-тесту вищим ).

-

Редагувати: Ось додатковий приклад, який спочатку створювався шумом щодо тенденції, який показує, наскільки краще ви можете зробити, якщо трохи перемістити точки:

g1:  7.27374 10.31746 10.54047  9.76779
g2: 10.33672 11.33857 10.53057 11.13335 10.42108  9.97780 10.45676 10.16201
g3: 10.13160 10.79660  9.64026 10.74844 10.51241 11.08612 10.58339 10.86740
g4: 10.88055 13.47504 11.87896 10.11403

F має значення p нижче 3%, а жодне з t не має p значення нижче 8%. (Для прикладу 3-х груп - але з дещо більшим р-значенням на F - опустіть другу групу)

І ось справді простий, якщо більш штучний, приклад з 3 групами:

g1: 1.0  2.1
g2: 2.15 2.3 3.0 3.7 3.85
g3: 3.9  5.0

(У цьому випадку найбільша дисперсія знаходиться в середній групі, але через більший розмір вибірки там стандартна помилка середньої групи все ще менша)

Багаторазові порівняння t-тестів

Уабер запропонував розглянути випадок численних порівнянь. Це виявляється досить цікавим.

Справа з декількома порівняннями (усі проводилися на початковому рівні значущості - тобто без коригування альфа для декількох порівнянь) домогтися дещо складніше, оскільки розігрування з більшими та меншими відхиленнями або все більша та менша кількість df у різних групах не допомагають так само, як це роблять із звичайними двопробними тестами.

Однак у нас ще є інструменти маніпулювання кількістю груп та рівнем значущості; якщо ми виберемо більше груп і менший рівень значущості, це знову стане відносно простим для виявлення випадків. Ось один:

$n_i=2$$\alpha=0.0025$

> summary(aov(values~ind,gs2))
            Df Sum Sq Mean Sq F value  Pr(>F)   
ind          7      9   1.286   10.29 0.00191 
Residuals    8      1   0.125                   

І все ж найменше р-значення при попарних порівняннях не суттєво, ніж цей рівень:

> with(gs2,pairwise.t.test(values,ind,p.adjust.method="none"))

        Pairwise comparisons using t tests with pooled SD 

data:  values and ind 

   g1     g2     g3     g4     g5     g6     g7    
g2 1.0000 -      -      -      -      -      -     
g3 1.0000 1.0000 -      -      -      -      -     
g4 1.0000 1.0000 1.0000 -      -      -      -     
g5 0.0028 0.0028 0.0028 0.0028 -      -      -     
g6 0.0028 0.0028 0.0028 0.0028 1.0000 -      -     
g7 0.0028 0.0028 0.0028 0.0028 1.0000 1.0000 -     
g8 0.0028 0.0028 0.0028 0.0028 1.0000 1.0000 1.0000

P value adjustment method: none 

Резюме: Я вважаю, що це можливо, але дуже, дуже малоймовірно. Різниця буде невеликою, і якщо це станеться, це тому, що припущення було порушено (наприклад, гомоскедастичність дисперсії).

Ось якийсь код, який шукає таку можливість. Зауважте, що він збільшує насіння на 1 раз під час його запуску, так що насіння зберігається (а пошук через насіння є систематичним).

stopNow <- FALSE
counter <- 0
while(stopNow == FALSE) {
  counter <- counter + 1
  print(counter)
  set.seed(counter)
  x <- rep(c(0:5), 100)
  y <- rnorm(600) + x * 0.01
  df  <-as.data.frame( cbind(x, y))
  df$x <- as.factor(df$x)
  fit <- (lm(y ~ x, data=df))
  anovaP <- anova(fit)$"Pr(>F)"[[1]]
       minTtestP <- 1
      for(loop1 in c(0:5)){
        for(loop2 in c(0:5)) {
          newTtestP <- t.test(df[x==loop1,]$y, df[x==loop2,]$y)$p.value
      minTtestP <- min(minTtestP, newTtestP )    
      }
   }

  if(minTtestP > 0.05 & anovaP < 0.05) stopNow <- TRUE 
  cat("\nminTtestP = ", minTtestP )
  cat("\nanovaP = ", anovaP )
  cat("\nCounter = ", counter, "\n\n" )
}

Шукаючи значущого R2 та жодних несуттєвих t-тестів, я не знайшов нічого до насіння 18000. Шукаючи більш низьке значення p від R2, ніж у t-тестах, я отримую результат при насінні = 323, але різниця дуже-дуже мала. Цілком можливо, що налаштування параметрів (збільшення кількості груп?) Може допомогти. Причиною того, що значення R2 p може бути меншим, є те, що коли обчислюється стандартна помилка для параметрів регресії, всі групи поєднуються, тому стандартна похибка різниці потенційно менша, ніж у t-тесті.

Мені було цікаво, чи може порушити гетероскедастичність (як би). Це робить. Якщо я користуюся

y <- (rnorm(600) + x * 0.01) * x * 5

Щоб генерувати y, тоді я знаходжу відповідний результат у насінні = 1889, де мінімальне значення р із t-тестів становить 0,061, а p-значення, пов'язане з R-квадратом, становить 0,046.

Якщо я варіюю групові розміри (що збільшує ефект порушення гетероскедастичності), замінюючи вибірку x на:

x <- sample(c(0:5), 100, replace=TRUE)

Я отримую вагомий результат при насінні = 531, при мінімальному p-тесті р-значення на 0,063 та р-значенні для R2 на 0,046.

Якщо я припиняю виправляти гетероскедастичність у t-тесті, використовуючи:

newTtestP <- t.test(df[x==loop1,]$y, df[x==loop2,]$y, var.equal = TRUE)$p.value

Я можу зробити висновок, що це малоймовірно, що відбудеться, і різниця, ймовірно, буде дуже малою, якщо ви не порушили припущення гомоскедастичності в регресії. Спробуйте запустити свій аналіз на надійний / сендвіч / все, що ви хочете назвати це виправленням.

Це цілком можливо:

• Один або кілька парних t-тестів є знаковим, але загальний F-тест не є
• Загальний F-тест є значущим, але жоден парний t-тест не є

Загальні тестові випробування F всі контрастують одночасно . Таким чином, він повинен бути менш чутливим (менше статистичної потужності) до окремих контрастів (наприклад: парний тест). Два тести тісно пов'язані один з одним, але вони не повідомляють про абсолютно одне і те ж.

Як бачимо, рекомендація підручника не робити планових порівнянь, якщо загальний тест на F є значним, не завжди є правильним. Насправді, рекомендація може завадити нам знайти значні відмінності, оскільки загальний тест F має меншу потужність, ніж заплановані порівняння для тестування конкретних відмінностей.