Z-оцінка методу Стоуффера: що робити, якщо підсумовувати замість ?

22

Я виконую незалежних статистичних тестів з однаковою нульовою гіпотезою і хотів би об'єднати результати в одну -значну величину. Схоже, існує два "прийнятих" методу: метод Фішера та метод Стоуффера . $N$ $p$

Моє запитання стосується методу Стоуффера. Для кожного окремого тесту я отримую z-бал . Під нульовою гіпотезою, кожен з них розподіляються зі стандартним нормальним розподілом, так що сума слід нормальному розподілу з дисперсією . Тому метод Стоуффера пропонує обчислити , який слід нормально розподілити з відхиленням одиниці, а потім використовувати це як спільний z-оцінка. $z_i$ $\Sigma z_i$ $N$ $\Sigma z_i / \sqrt{N}$

Це розумно, але ось інший підхід, який я придумав, і який також мені здається розумним. Оскільки кожен із походить від звичайного нормального розподілу, сума квадратів повинна виходити з розподілу chi-квадрата з ступенями свободи. Таким чином, можна обчислити і перетворити його в -значення, використовуючи функцію кумулятивного розподілу chi-квадрата з ступенями свободи ( , де - CDF). $z_i$ $S=\Sigma z^2_i$ $N$ $S$ $p$ $N$ $p=1−X_N(S)$ $X_N$

Однак ніде не можна знайти такого підходу. Він коли-небудь використовується? Чи має це ім’я? Які б були переваги / недоліки порівняно з методом Стоуфера? Або є недолік у моїх міркуваннях?

— Амеба каже Відновити Моніку
джерело

Один помітний недолік, який вискакує, - це метод Стоуффера, дозволяє виявити систематичні зрушення в , і це те, що, як правило, можна очікувати, коли одна альтернатива послідовно вірна. Швидке моделювання ( , ітерації) показує, що це так; метод чи-квадрата є серйозно менш потужним для виявлення однобічної альтернативи.

z_{i}

$z_i$

N = 100

$N=100$

10^{4}

$10^4$

— whuber

2

Спасибі, бешкетник! Чи можете ви описати своє моделювання більш детально, мені цікаво. З іншого боку, якщо мають різні знаки, але великі абсолютні значення, то метод Стоуффера може закінчитися загальним , тоді як мій метод повідомляє про ДУЖЕ значущій . Я думаю, що в деяких випадках це може мати набагато більше сенсу (і я підозрюю, що в моєму випадку це є, але я не впевнений).

z_{i}

$z_i$

z \approx 0

$z \approx 0$

p

$p$

— амеба каже: Поновіть Моніку

1

Ви маєте рацію, саме тому я не опублікував свій коментар як відповідь. Але які існують ситуації, коли альтернативи настільки кардинально відрізняються від нуля в обох напрямках, за винятком лише випадкових випадків?

— whuber

Маю на увазі ситуацію, яку я мав на увазі, щось подібне до тесту Хі-квадрату Пірсона, де цікавить, чи відрізняється емпіричний розподіл від нульового; то відхилення в будь-якому напрямку мають значення. Але, задумавшись, я думаю, що ваша інтуїція правильна, і в моєму випадку підозрілі відхилення все в одному напрямку. Якщо ви опублікуєте свій коментар як відповідь і надасте детальну інформацію про ваше швидке моделювання (мені дуже цікаво, чому метод хі-квадрат виявляється менш потужним!), Я з радістю прийму його.

— амеба каже, що повернеться до Моніки

Сума n Z балів має розподіл з дисперсією n? Чому дисперсія не є квадратом середньої середньої помилки? Сума як випливає з назви, має різницю N. Можливо, я пропускаю щось очевидне?

Z^{2}

$Z^2$

— russellpierce

17

Один недолік, який вискакує, - це метод Стоуфера, може виявити систематичні зрушення в , і це те, що, як правило, можна було б очікувати, коли одна альтернатива буде істинною, тоді як у хі-квадратного методу, мабуть, менше сил для цього. Швидке моделювання показує, що це так; метод чи-квадрата є менш потужним для виявлення однобічної альтернативи. Ось гістограми p-значень обох методів (червоний = Stouffer, blue = chi-квадрат) для незалежних ітерацій з та різних односторонніх стандартизованих ефектів варіюються від жодних ( ) через SD ( ). $z_i$ $10^5$ $N=10$ $\mu$ $\mu=0$ $0.6$ $\mu=0.6$

Малюнок

Краща процедура матиме більше площі, близької до нуля. Для всіх показаних позитивних значень ця процедура є процедурою Stouffer. $\mu$

R код

Сюди входить метод Фішера (коментується) для порівняння.

n <- 10
n.iter <- 10^5
z <- matrix(rnorm(n*n.iter), ncol=n)

sim <- function(mu) {
  stouffer.sim <- apply(z + mu, 1, 
                    function(y) {q <- pnorm(sum(y)/sqrt(length(y))); 2*min(q, 1-q)})
  chisq.sim <- apply(z + mu, 1, 
                    function(y) 1 - pchisq(sum(y^2), length(y)))
  #fisher.sim <- apply(z + mu, 1,
  #                  function(y) {q <- pnorm(y); 
  #                     1 - pchisq(-2 * sum(log(2*pmin(q, 1-q))), 2*length(y))})
  return(list(stouffer=stouffer.sim, chisq=chisq.sim, fisher=fisher.sim))
}

par(mfrow=c(2, 3))
breaks=seq(0, 1, .05)
tmp <- sapply(c(0, .1, .2, .3, .4, .6), 
              function(mu) {
                x <- sim(mu); 
                hist(x[[1]], breaks=breaks, xlab="p", col="#ff606060",
                     main=paste("Mu =", mu)); 
                hist(x[[2]], breaks=breaks, xlab="p", col="#6060ff60", add=TRUE)
                #hist(x[[3]], breaks=breaks, xlab="p", col="#60ff6060", add=TRUE)
                })

— дзижчати
джерело

Ще раз дякую, це дуже приємно. А що станеться, якщо ви відстороните метод Фішера? Підозрюю, ви вже пробували це. Чи стійко перемагає Стоуффер? (Вибачте, що не спробував це самостійно, але я не маю досвіду роботи з R і не маю його під рукою.)

— Амеба каже Reinstate Monica

μ

$\mu$

N

$N$

N

$N$

1

Ви можете легко змінити Rмоделювання, щоб перевірити це. Це був би хороший спосіб познайомитись із цією статистичною платформою обчислень. :-)

— whuber

2

z_{i}

$z_i$

z_{i}

$z_i$

Чудова дискусія та QA! Один швидкого питання: що робити , якщо один форми цієї проблеми як останець / виявлення аномалій шляху обчислення Махаланобіса відстані і подальше що - щось на зразок цього ?

— NULL

10

Один загальний спосіб отримати уявлення про статистику тестів - це отримати (зазвичай неявні) основні припущення, які призведуть до того, що статистика тесту буде найпотужнішою. У цьому конкретному випадку студент, і я нещодавно це зробив: http://arxiv.org/abs/1111.1210v2 (переглянута версія повинна міститись у літописі прикладної статистики).

Якщо дуже коротко підсумувати (і відповідати результатам моделювання в іншій відповіді), метод Стоуффера буде найбільш потужним, коли всі "справжні" основні ефекти рівні; сума Z ^ 2 буде найбільш потужною, коли основні ефекти зазвичай розподіляються приблизно 0. Це невелике спрощення, яке опускає деталі: див. розділ 2.5 в архівному предруку, пов'язаному вище для отримання більш детальної інформації.

— mstephens
джерело

2

(+1) Я якось думав, що написав це давно, але, схоже, цього не зробив: велике спасибі за реєстрацію тут, щоб відповісти на моє запитання! Я ціную це. Розділ 2.5 у вашому документі справді дуже актуальний.

— Амеба повідомляє, що повернеться до Моніки

3

Трохи o / t: одне з питань, що стосуються обох цих підходів - втрата сили через ступінь свободи (N для стоферів; 2N для Фішера). Для цього було розроблено кращі метааналітичні підходи, які, можливо, ви хочете розглянути (наприклад, зворотний дисперсійний зважений мета-аналіз).

Якщо ви шукаєте докази деяких альтернативних тестів у групі, ви можете подивитися статистику вищої критики Донохо та Джина: https://projecteuclid.org/euclid.aos/1085408492

— котпас
джерело

1

Щоб відповісти на запитання та для будь-яких подальших читачів: чи він коли-небудь використовується ?, існує вичерпний документ Cousins (2008) про arXiv, в якому перераховано та розглянуто пару альтернативних підходів. Запропонований варіант, схоже, не з’являється.

— victor_v
джерело