Яка частка повторних експериментів матиме розмір ефекту в межах 95% довірчого інтервалу першого експерименту?

Давайте дотримуватимемося ідеальної ситуації з випадковим вибіркою, гауссовими популяціями, рівними розбіжностями, відсутністю P-злому тощо.

Крок 1. Ви проводите експеримент скажімо, порівнюючи два вибірки, і обчислюєте 95% довірчий інтервал для різниці між двома сукупностями.

Крок 2. Ви проводите ще багато експериментів (тисяч). Різниця між засобами буде залежати від експерименту до експерименту через випадкову вибірку.

Запитання: Яка частка різниці між засобами від колекції експериментів на етапі 2 буде лежати в довірчому інтервалі кроку 1?

На це не можна відповісти. Все залежить від того, що сталося на кроці 1. Якщо цей експеримент на етапі 1 був дуже нетиповим, відповідь на питання може бути дуже низьким.

Тож уявіть, що обидва кроки повторюються багато разів (з кроком 2 повторюються ще багато разів). Тепер, я думаю, можна було б придумати очікування, яка частка повторних експериментів в середньому має розмір ефекту в межах 95% довірчого інтервалу першого експерименту.

Здається, що відповідь на ці питання потрібно розуміти для оцінки відтворюваності досліджень, зараз дуже гаряча область.

Аналіз

Оскільки це концептуальне запитання, для простоти розглянемо ситуацію, в якій довірчий інтервал будується для середнього за допомогою випадкова вибірка розміру та друга випадкова вибірка взята розміром , все з того ж нормального розподілу. (Якщо вам подобається, ви можете замінити s значеннями з розподілу Student на ступінь свободи; наступний аналіз не зміниться.)[ ˉ x ( 1 ) + Z α / 2 s ( 1 ) / $1-\alpha$μx(1)nx(2)m(μ,σ2)Ztn-

$$\left[\bar x^{(1)} + Z_{\alpha/2} s^{(1)}/\sqrt{n}, \bar x^{(1)} + Z_{1-\alpha/2} s^{(1)}/\sqrt{n}\right]$$ $\mu$$x^{(1)}$$n$$x^{(2)}$$m$$(\mu,\sigma^2)$$Z$$t$$n-1$

Шанс, що середнє значення другої вибірки лежить в межах ІС, визначеному першим, є

$$\Pr\left(\bar x^{(1)} + \frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)} \le \bar x^{(1)} + \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right) =\Pr\left(\frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)}-\bar x^{(1)} \le \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right).$$

Оскільки середнє значення вибірки не залежить від першого стандартного відхилення вибірки (для цього потрібна нормальність), а другий зразок не залежить від першого, різниця в вибірці означає не залежить від . Більше того, для цього симетричного інтервалу . Тому, записуючи для випадкової величини і відкладаючи обидві нерівності, імовірність, про яку йдеться, така ж, як і$\bar x^{(1)}$$s^{(1)}$$U = \bar x^{(2)} - \bar x^{(1)}$$s^{(1)}$$Z_{\alpha/2}=-Z_{1-\alpha/2}$$S$$s^{(1)}$

$$\Pr\left(U^2 \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2 S^2\right)= \Pr\left(\frac{U^2}{S^2} \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2\right).$$

З законів очікування випливає, що має середнє значення і дисперсію$U$$0$

$$\operatorname{Var}(U) = \operatorname{Var}\left(\bar x^{(2)} - \bar x^{(1)}\right) = \sigma^2\left(\frac{1}{m} + \frac{1}{n}\right).$$

Оскільки - лінійна комбінація змінних Normal, вона також має нормальне розподіл. Тому є раз a змінної. Ми вже знали, що - разів змінна . Отже, є на разів змінною з розподілом . Необхідна ймовірність задається розподілом F як$U$$U^2$$\sigma^2\left(\frac{1}{n} + \frac{1}{m}\right)$$\chi^2(1)$$S^2$$\sigma^2/n$$\chi^2(n-1)$$U^2/S^2$$1/n + 1/m$$F(1,n-1)$

$$F_{1,n-1}\left(\frac{Z_{1-\alpha/2}^2}{1 + n/m}\right).\tag{1}$$

---

Обговорення

Цікавий випадок, коли другий зразок має той же розмір, що і перший, так що і лише та визначають ймовірність. Ось значення побудовані проти для .$n/m=1$$n$$\alpha$$(1)$$\alpha$$n=2,5,20,50$

Графіки піднімаються до граничного значення для кожного оскільки збільшується. Традиційний розмір тесту позначається вертикальною сірою лінією. Для величинних значень граничний шанс для становить близько .$\alpha$$n$$\alpha=0.05$$n=m$$\alpha=0.05$$85\%$

Розуміючи цю межу, ми зазирнемо в деталі невеликих розмірів зразків і краще зрозуміємо суть справи. Оскільки зростає великим, розподіл наближається до розподілу . З точки зору стандартного нормального розподілу , ймовірність потім наближається$n=m$$F$$\chi^2(1)$$\Phi$$(1)$

$$\Phi\left(\frac{Z_{1-\alpha/2}}{\sqrt{2}}\right) - \Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) = 1 - 2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) .$$

Наприклад, з , і . Отже, граничне значення, яке досягається кривими при при збільшенні буде . Ви можете бачити, що майже досягнуто (де шанс .)$\alpha=0.05$$Z_{\alpha/2}/\sqrt{2} \approx -1.96/1.41 \approx -1.386$$\Phi(-1.386) \approx 0.083$$\alpha=0.05$$n$$1 - 2(0.083) = 1 - 0.166=0.834$$n=50$$0.8383\ldots$

Для малих взаємозв'язок між та взаємодоповнюючою ймовірністю - ризик того, що КІ не покриває другого значення - майже ідеально закон про владу. $\alpha$$\alpha$ Інший спосіб виразити це тим, що додаткова ймовірність журналу є майже лінійною функцією . Обмежувальне відношення приблизно$\log\alpha$

$$\log\left(2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right)\right) \approx -1.79712 + 0.557203\log(20 \alpha) + 0.00657704 (\log(20 \alpha))^2 + \cdots$$

Іншими словами, для великих та будь-якому місці, що знаходиться поблизу традиційного значення , буде близьким до$n=m$$\alpha$$0.05$$(1)$

$$1 - 0.166 (20\alpha)^{0.557}.$$

(Це мені дуже нагадує аналіз перекриваються довірчих інтервалів, які я розмістив на /stats//a/18259/919 . Дійсно, магічна сила там, , є майже майже зворотною магічною силою тут, . У цей момент ви повинні мати можливість повторно інтерпретувати цей аналіз з точки зору відтворюваності експериментів.)$1.91$$0.557$

---

Результати експериментів

Ці результати підтверджуються прямолінійним моделюванням. Наступний Rкод повертає частоту покриття, шанс, обчислений з , і Z-бал, щоб оцінити, наскільки вони відрізняються. Зазвичай Z-бали мають розмір менше , незалежно від (або навіть, чи обчислюється або CI), що вказує на правильність формули .$(1)$$2$$n, m, \mu, \sigma, \alpha$$Z$$t$$(1)$

n <- 3      # First sample size
m <- 2      # Second sample size
sigma <- 2 
mu <- -4
alpha <- 0.05
n.sim <- 1e4
#
# Compute the multiplier.
#
Z <- qnorm(alpha/2)
#Z <- qt(alpha/2, df=n-1) # Use this for a Student t C.I. instead.
#
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + Z * s.1 / sqrt(n)
u.1 <- x.1.bar - Z * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(m*n.sim, mu, sigma), nrow=m))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
# Compute the theoretical chance and compare it to the simulated frequency.
#
f <- pf(Z^2 / ((n * (1/n + 1/m))), 1, n-1)
m.covers <- mean(covers)
(c(Simulated=m.covers, Theoretical=f, Z=(m.covers - f)/sd(covers) * sqrt(length(covers))))

[Відредаговано, щоб виправити помилку, яку зазначив Уубер.]

Я змінив код @ Whuber для використання розподілу t і покриття ділянки як функції розміру вибірки. Результати нижче. При високому розмірі вибірки результати, звичайно, відповідають ВУберу.

А ось адаптований код R, запустіть двічі з альфа-налаштуванням або 0,01, або 0,05.

sigma <- 2 
mu <- -4
alpha <- 0.01
n.sim <- 1e5
#
# Compute the multiplier.

for (n in c(3,5,7,10,15,20,30,50,100,250,500,1000))
{
   T <- qt(alpha/2, df=n-1)     
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + T * s.1 / sqrt(n)
u.1 <- x.1.bar - T * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(n*n.sim, mu, sigma), nrow=n))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
Coverage=mean(covers)

print (Coverage)

}

І ось файл GraphPad Prism, який зробив графік.