Чому збір даних до отримання значного результату збільшує рівень помилок типу I?

Мені було цікаво, чому саме збір даних до отримання значного результату (наприклад, ) (тобто p-хакерство) збільшує рівень помилок типу I?$p \lt .05$

Я також дуже вдячний за Rдемонстрацію цього явища.

Проблема полягає в тому, що ви даєте собі занадто багато шансів пройти тест. Це просто химерна версія цього діалогу:

Я переверну вас, щоб побачити, хто платить за вечерю.

Гаразд, я телефоную головам.

Щури, ти перемогла. Кращі два з трьох?

---

Щоб зрозуміти це краще, розгляньте спрощену, але реалістичну модель цієї послідовної процедури . Припустимо, ви почнете з "пробного запуску" певної кількості спостережень, але готові продовжити експерименти довше, щоб отримати значення р менше . Нульова гіпотеза полягає в тому, що кожне спостереження походить (незалежно) від стандартного нормального розподілу. Альтернативою є те, що надходять незалежно від нормального дисперсійного нормального розподілу з ненульовим середнім. Тестовою статистикою буде середнє значення всіх спостережень, , поділене на їх стандартну помилку, . Для двостороннього тесту критичними значеннями є значенняX i X i n ˉ X 1 / $0.05$$X_i$$X_i$$n$$\bar X$ 0,0250,975Zα=±$1/\sqrt{n}$$0.025$ та процентних пунктів стандартного нормального розподілу, приблизно.$0.975$$Z_\alpha=\pm 1.96$

Це хороший тест - для одного експерименту з фіксованим розміром вибірки . Він має рівно ймовірність відкинути нульову гіпотезу, незалежно від того , що може бути.5 % $n$$5\%$$n$

Давайте алгебраїчно перетворимо це в еквівалентний тест на основі суми всіх значень,З п = Х 1 + Х 2 + ⋯ + Х п = п ˉ Х$n$

$$S_n=X_1+X_2+\cdots+X_n = n\bar X.$$

Таким чином, дані є "значущими", коли

$$\left| Z_\alpha\right| \le \left| \frac{\bar X}{1/\sqrt{n}} \right| = \left| \frac{S_n}{n/\sqrt{n}} \right| = \left| S_n \right| / \sqrt{n};$$

це,

$$\left| Z_\alpha\right| \sqrt{n} \le \left| S_n \right| .\tag{1}$$

Якщо ми розумні, ми зменшимо свої втрати і відмовимось, коли зросте дуже великими, а дані все ще не ввійшли в критичну область.$n$

Це описує випадкову ходу . Формула означає спорудження вигнутої параболічної «огорожі» або бар'єру навколо ділянки випадкової прогулянки : результат є «значущим», якщо якась точка випадкової прогулянки потрапляє на паркан.$S_n$$(1)$$(n, S_n)$

Це властивість випадкових прогулянок, що якщо ми будемо чекати досить довго, дуже ймовірно, що в якийсь момент результат буде виглядати суттєвим.

Ось 20 незалежних моделювань до межі зразків. Усі вони починають тестування з проб, після чого ми перевіряємо, чи лежить кожна точка за межами бар'єрів, які були проведені за формулою . З моменту, коли статистичний тест спочатку є "значущим", імітовані дані пофарбовані в червоний колір.$n=5000$$n=30$$(1)$

Ви можете бачити, що відбувається: випадкова хода все більше і більше бігає вгору і вниз, коли росте. Шлагбауми розширюються приблизно однаковою швидкістю, але не досить швидко завжди, щоб уникнути випадкової прогулянки.$n$

У 20% цих симуляцій було виявлено "суттєву" різницю - як правило, досить рано - хоча в кожному з них нульова гіпотеза абсолютно правильна! Запуск більшої кількості моделей такого типу свідчить про те, що справжній розмір тесту близький до а не передбачуване значення : тобто ваша готовність продовжувати шукати "значущість" до розміру вибірки дає шанс відхилити нуль, навіть якщо нуль є істинним.$25\%$$\alpha=5\%$$5000$$25\%$

Зауважте, що в усіх чотирьох "значущих" випадках, коли тестування тривало, дані перестали виглядати значущими в деяких точках. У реальному житті експериментатор, який рано зупиняється, втрачає шанс спостерігати такі "реверсії". Ця вибірковість завдяки необов'язковій зупинці змінює результати.

У послідовних тестах на чесність до доброти бар'єрами є лінії. Вони поширюються швидше, ніж тут показані зігнуті бар'єри.

library(data.table)
library(ggplot2)

alpha <- 0.05   # Test size
n.sim <- 20     # Number of simulated experiments
n.buffer <- 5e3 # Maximum experiment length
i.min <- 30     # Initial number of observations
#
# Generate data.
#
set.seed(17)
X <- data.table(
  n = rep(0:n.buffer, n.sim),
  Iteration = rep(1:n.sim, each=n.buffer+1),
  X = rnorm((1+n.buffer)*n.sim)
)
#
# Perform the testing.
#
Z.alpha <- -qnorm(alpha/2)
X[, Z := Z.alpha * sqrt(n)]
X[, S := c(0, cumsum(X))[-(n.buffer+1)], by=Iteration]
X[, Trigger := abs(S) >= Z & n >= i.min]
X[, Significant := cumsum(Trigger) > 0, by=Iteration]
#
# Plot the results.
#
ggplot(X, aes(n, S, group=Iteration)) +
  geom_path(aes(n,Z)) + geom_path(aes(n,-Z)) +
  geom_point(aes(color=!Significant), size=1/2) +
  facet_wrap(~ Iteration)

Люди, які не знайомі з тестуванням гіпотез, схильні вважати, що як тільки значення ап знизиться нижче .05, додавання більшої кількості учасників лише ще більше знизить значення р. Але це неправда. Згідно з нульовою гіпотезою, значення ap рівномірно розподіляється між 0 і 1 і може дуже відскакувати в цьому діапазоні.

Я імітував деякі дані в R (мої навички R досить базові). У цьому моделюванні я збираю 5 точок даних - кожен із випадково вибраним членством у групі (0 або 1) і кожен із випадково вибраним результатом вимірювання ~ N (0,1). Починаючи з учасника 6, я проводжу тест на кожній ітерації.

for (i in 6:150) {
  df[i,1] = round(runif(1))
  df[i,2] = rnorm(1)
  p = t.test(df[ , 2] ~ df[ , 1], data = df)$p.value
  df[i,3] = p
}

Значення р наведені на цьому малюнку. Зауважте, що я знаходжу значні результати, коли розмір вибірки становить приблизно 70-75. Якщо я зупинюсь на цьому, я в кінцевому підсумку вважаю, що мої висновки є вагомими, тому що я пропустив той факт, що мої значення p підскочили назад з більшою вибіркою (це насправді траплялося зі мною одного разу з реальними даними). Оскільки я знаю, що обидві групи населення мають середнє значення 0, це повинно бути помилковим позитивом. Це проблема з додаванням даних до p <.05. Якщо ви додасте проведення достатньої кількості тестів, p з часом переступить поріг .05, і ви зможете знайти значний вплив будь-якого набору даних.

Ця відповідь стосується лише ймовірності остаточного отримання «значного» результату та розподілу часу на цю подію за моделлю @ whuber.

Як і в моделі @whuber, нехай позначає значення тестової статистики після того , як зібрано спостережень, і припустимо, що спостереження є стандартними нормальними . Тоді такий, що поводиться як стандартний броунівський рух безперервного часу, якщо ми на даний момент ігноруємо той факт, що у нас процес дискретного часу (лівий сюжет внизу).$S(t)=X_1 + X_2 + \dots + X_t$$t$$X_1,X_2,\dots$

$$S(t+h)|S(t)=s_0 \sim N(s_0, h), \tag{1}$$ $S(t)$

Нехай позначає перший час проходження через часові бар'єри (кількість спостережень, необхідних до того, як тест виявиться значним).$T$$S(t)$$\pm z_{\alpha/2}\sqrt{t}$

Розглянемо трансформований процес отриманий шляхом масштабування за його стандартним відхиленням в момент часу і, довівши нову шкалу часу таким, що З (1) і (2) випливає, що зазвичай розподіляється з і $Y(\tau)$$S(t)$$t$$\tau=\ln t$

$$Y(\tau)=\frac{S(t(\tau))}{\sqrt{t(\tau)}}=e^{-\tau/2}S(e^\tau). \tag{2}$$ $Y(\tau+\delta)$ $$\begin{align} E(Y(\tau+\delta)|Y(\tau)=y_0) &=E(e^{-(\tau+\delta)/2}S(e^{\tau+\delta})|S(e^\tau)=y_0e^{\tau/2}) \\&=y_0e^{-\delta/2} \tag{3} \end{align}$$ $$\begin{align} \operatorname{Var}(Y(\tau+\delta)|Y(\tau)=y_0) &=\operatorname{Var}(e^{(\tau+\delta)/2}S(e^{\tau+\delta})|S(e^\tau)=y_0e^{\tau/2}) \\&=1-e^{-\delta}, \tag{4} \end{align}$$ тобто - нульовий середній процес Орнштейна-Уленбека (OU) зі стаціонарною дисперсією 1 і час повернення 2 (права ділянка нижче).$Y(\tau)$

Для перетвореної моделі бар'єри стають незалежними від часу константами, що дорівнює . Тоді відомо ( Nobile et al. 1985 ; Ricciardi & Sato, 1988 ), що перший час проходження процесу OU через ці бар'єри приблизно експоненціально розподілений з деяким параметром (залежно від бар'єрів у ) (оцінюється до для нижче). Також є додаткова маса точок розміром в . "Відхилення"$\pm z_{\alpha/2}$$\mathcal{T}$$Y(\tau)$$\lambda$$\pm z_{\alpha/2}$$\hat\lambda=0.125$$\alpha=0.05$$\alpha$$\tau=0$$H_0$в кінцевому підсумку відбувається з ймовірністю 1. Отже, (кількість спостережень, які необхідно зібрати, щоб отримати "значущий" результат) приблизно слідує за експоненціальним розподілом журналу з очікуваним значенням Таким чином, має кінцеве очікування, лише якщо (для достатньої кількості великий рівень значущості ).$T=e^\mathcal{T}$

$$ET\approx 1+(1-\alpha)\int_0^\infty e^\tau \lambda e^{-\lambda \tau}d\tau.\tag{5}$$ $T$$\lambda>1$$\alpha$

Сказане ігнорує той факт, що для реальної моделі дискретний, а реальний процес - дискретний, а не безперервний час. Отже, вищезазначена модель завищує ймовірність того, що бар'єр був перекреслений (і недооцінює ), оскільки шлях вибірки безперервного часу може перетинати бар'єр лише тимчасово між двома сусідніми дискретними часовими точками і . Але такі події повинні мати незначну ймовірність для великих . E T t t + 1 $T$$ET$$t$$t+1$$t$

На наступному малюнку показана оцінка Каплана-Мейєра за шкалою журналу журналу разом з кривою виживання для експоненціального наближення безперервного часу (червона лінія).$P(T>t)$

R код:

# Fig 1
par(mfrow=c(1,2),mar=c(4,4,.5,.5))
set.seed(16)
n <- 20
npoints <- n*100 + 1
t <- seq(1,n,len=npoints)
subset <- 1:n*100-99
deltat <- c(1,diff(t))
z <- qnorm(.975)
s <- cumsum(rnorm(npoints,sd=sqrt(deltat)))
plot(t,s,type="l",ylim=c(-1,1)*z*sqrt(n),ylab="S(t)",col="grey")
points(t[subset],s[subset],pch="+")
curve(sqrt(t)*z,xname="t",add=TRUE)
curve(-sqrt(t)*z,xname="t",add=TRUE)
tau <- log(t)
y <- s/sqrt(t)
plot(tau,y,type="l",ylim=c(-2.5,2.5),col="grey",xlab=expression(tau),ylab=expression(Y(tau)))
points(tau[subset],y[subset],pch="+")
abline(h=c(-z,z))

# Fig 2
nmax <- 1e+3
nsim <- 1e+5
alpha <- .05
t <- numeric(nsim)
n <- 1:nmax
for (i in 1:nsim) {
  s <- cumsum(rnorm(nmax))
  t[i] <- which(abs(s) > qnorm(1-alpha/2)*sqrt(n))[1]
}
delta <- ifelse(is.na(t),0,1)
t[delta==0] <- nmax + 1
library(survival)
par(mfrow=c(1,1),mar=c(4,4,.5,.5))
plot(survfit(Surv(t,delta)~1),log="xy",xlab="t",ylab="P(T>t)",conf.int=FALSE)
curve((1-alpha)*exp(-.125*(log(x))),add=TRUE,col="red",from=1,to=nmax)

Потрібно сказати, що вищезазначена дискусія стосується частістського світогляду, для якого множинність виходить з того, що ви даєте дані бути більш екстремальними, а не від шансів, що ви даєте ефект на існування. Першопричиною проблеми є те, що в p-значеннях та помилках I типу використовується кондиціонування потоку інформації в зворотному часі, завдяки чому важливо "як ти сюди потрапив" і що могло статися натомість. З іншого боку, байєсівська парадигма кодує скептицизм щодо впливу на сам параметр, а не на дані. Це робить кожну задню ймовірність інтерпретувати однаково, чи обчислювали ви іншу задню ймовірність ефекту 5 хвилин тому чи ні. Більш детальну інформацію та просте моделювання можна знайти на веб- сайті http://www.fharrell.com/2017/10/continuous-learning-from-data-no.

Ми вважаємо, що дослідник збирає зразок розміром , , щоб перевірити деяку гіпотезу . Він відкидає, якщо відповідна тестова статистика перевищує її рівень- критичне значення . Якщо цього немає, він збирає інший зразок розміром , і відхиляє, якщо тест відхиляє для комбінованого зразка . Якщо він все ще не отримує відхилення, він проходить таким чином, до разів усього.x 1 θ = θ 0 t α c n x 2 ( x 1 , x 2 ) $n$$x_1$$\theta=\theta_0$$t$$\alpha$$c$$n$$x_2$$(x_1,x_2)$$K$

Ця проблема, здається, вже була вирішена П. Армітажем, К. К. Макферсоном та Б. К. Роу (1969), журналом Королівського статистичного товариства. Серія A (132), 2, 235-244: "Неодноразові випробування значущості накопичувальних даних" .

Байєсівська точка зору на це питання, також обговорювана тут, до речі, обговорюється в Бергері та Вулперті (1988), "Принцип ймовірності" , Розділ 4.2.

Ось часткова реплікація результатів Armitage et al. (Код нижче), яка показує, як рівень значущості надувається при , а також можливі корекційні коефіцієнти для відновлення критичних значень рівня- . Зверніть увагу, що пошук сетки потребує деякого часу --- реалізація може виявитися досить неефективною.$K>1$$\alpha$

Розмір стандартного правила відхилення як функція від кількості спроб$K$

Розмір як функція збільшення критичних значень для різних$K$

Налаштовані критичні значення для відновлення 5% тестів як функції$K$

reps <- 50000

K <- c(1:5, seq(10,50,5), seq(60,100,10)) # the number of attempts a researcher gives herself
alpha <- 0.05
cv <- qnorm(1-alpha/2)

grid.scale.cv <- cv*seq(1,1.5,by=.01) # scaled critical values over which we check rejection rates
max.g <- length(grid.scale.cv)
results <- matrix(NA, nrow = length(K), ncol=max.g)

for (kk in 1:length(K)){
  g <- 1
  dev <- 0
  K.act <- K[kk]
  while (dev > -0.01 & g <= max.g){
    rej <- rep(NA,reps)
    for (i in 1:reps){
      k <- 1
      accept <- 1
      x <- rnorm(K.act)
      while(k <= K.act & accept==1){
        # each of our test statistics for "samples" of size n are N(0,1) under H0, so just scaling their sum by sqrt(k) gives another N(0,1) test statistic
        rej[i] <- abs(1/sqrt(k)*sum(x[1:k])) > grid.scale.cv[g] 
        accept <- accept - rej[i]
        k <- k+1
      }
    }
    rej.rate <- mean(rej)
    dev <- rej.rate-alpha
    results[kk,g] <- rej.rate
    g <- g+1
  }
}
plot(K,results[,1], type="l")
matplot(grid.scale.cv,t(results), type="l")
abline(h=0.05)

cv.a <- data.frame(K,adjusted.cv=grid.scale.cv[apply(abs(results-alpha),1,which.min)])
plot(K,cv.a$adjusted.cv, type="l")