Чи великі набори даних не підходять для тестування гіпотез?

В недавній статті в Amstat Новини , автори (Марк ван дер Лан і Шеррі Роуз) заявив , що «Ми знаємо , що для досить великих розмірів вибірки, кожне дослідження, в тому числі ті , в яких нульова гіпотеза про відсутність ефекту вірно - буде оголосити статистично значущий ефект. "

Ну, я про це не знав. Це правда? Чи означає це тестування гіпотез для великих наборів даних?

Це неправда. Якщо нульова гіпотеза вірна, вона не буде відкидатися частіше при великих розмірах вибірки, ніж маленькій. Існує помилкова частота відхилення, яка зазвичай встановлюється 0,05 (альфа), але вона не залежить від розміру вибірки. Тому сприйняте буквально твердження хибне. Тим не менш, можливо, що в деяких ситуаціях (навіть цілі поля) всі нулі помилкові, і тому всі будуть відхилені, якщо N досить високий. Але це погано?

Щоправда, це те, що тривіально малі ефекти можуть бути «значущими» при дуже великих розмірах вибірки. Це не говорить про те, що у вас не повинно бути таких великих розмірів зразків. Це означає, що те, як ви тлумачите свої висновки, залежить від розміру ефекту та чутливості тесту. Якщо у вас дуже невеликий розмір ефекту і дуже чутливий тест, ви повинні визнати, що статистично значуща знахідка може бути не значимою або корисною.

Оскільки деякі люди не вірять, що тест нульової гіпотези, коли нуль відповідає дійсності , завжди має помилку, рівну точці відсічення, вибраній для будь-якого розміру вибірки, ось просте моделювання в Rдоведенні точки. Зробіть N настільки великим, скільки вам подобається, і частота помилок типу I залишиться постійною.

# number of subjects in each condition
n <- 100
# number of replications of the study in order to check the Type I error rate
nsamp <- 10000

ps <- replicate(nsamp, {
    #population mean = 0, sd = 1 for both samples, therefore, no real effect
    y1 <- rnorm(n, 0, 1) 
    y2 <- rnorm(n, 0, 1)
    tt <- t.test(y1, y2, var.equal = TRUE)
    tt$p.value
})
sum(ps < .05) / nsamp

# ~ .05 no matter how big n is. Note particularly that it is not an increasing value always finding effects when n is very large.

Я погоджуюся з відповідями, які з’явились, але хотів би додати, що, можливо, питання можна було б переадресувати. Перевірка гіпотези чи ні - це дослідницьке питання, яке повинно, принаймні загалом, не залежати від того, скільки даних має. Якщо вам справді потрібно перевірити гіпотезу, зробіть це, і не бійтеся своєї здатності виявляти невеликі наслідки. Але спершу запитайте, чи це частина ваших цілей дослідження.

Тепер для деяких кайф:

• Деякі нульові гіпотези абсолютно побудовані. Наприклад, коли ви протестуєте генератор псевдовипадкових чисел для рівномірного розподілу, і якщо PRG справді рівнорозподілений (що було б математичною теоремою), то нуль справедливий. Напевно, більшість із вас може придумати цікавіші реальні приклади, що випливають із рандомізації в експериментах, де лікування насправді не має ефекту. (Я б приклав всю літературу про esp як приклад. ;-)

• У ситуації, коли "просту" нуль перевіряють на "складну" альтернативу, як у класичних t-тестах або z-тестах, для визначення розміру ефекту зазвичай використовується розмір вибірки, пропорційний . У будь-якому дослідженні це практична верхня межа, маючи на увазі, що є практична нижня межа розміру ефекту, який можна виявити. Отже, як теоретичні питання дер Лаан і Роуз є правильними, але ми повинні подбати про те, застосовуючи їх висновок.$1/\epsilon^2$$\epsilon$

Тестування гіпотез традиційно орієнтоване на значення p для отримання статистичної значущості, коли альфа менше 0,05 має значну слабкість. Це означає, що при досить великому розмірі вибірки будь-який експеримент може врешті-решт відхилити нульову гіпотезу та виявити тривіально малі відмінності, які виявляються статистично значущими.

Це причина, по якій лікарські компанії структурують клінічні випробування для отримання дозволу FDA з дуже великими зразками. Великий зразок зменшить стандартну помилку до нуля. Це, в свою чергу, штучно підвищить t-статистику і суттєво знизить значення р до близько 0%.

Я збираюсь у наукових спільнотах, які не пошкоджені економічними стимулами та пов'язаними з цим тестуванням гіпотез конфлікту інтересів відходять від будь-яких вимірювань величини р до вимірювання розміру ефекту. Це пояснюється тим, що одиниця статистичної відстані або диференціації в аналізі розміру ефекту є стандартним відхиленням замість стандартної помилки. І, стандартне відхилення повністю не залежить від розміру вибірки. З іншого боку, стандартна помилка повністю залежить від розміру вибірки.

Отже, той, хто скептично ставиться до тестування гіпотез, досягаючи статистично значущих результатів на основі великих вибірок та методологій, пов'язаних з значенням p, може бути скептичним. Вони повинні повторно проводити аналіз, використовуючи ті самі дані, але замість цього використовуючи статистичні тести Effect Size. А потім поспостерігайте, чи вважається розмір ефекту матеріальним чи ні. Роблячи це, ви могли помітити, що купу відмінностей, які є статистично значущими, пов'язані з розміром ефектів, які не мають значення. Ось що іноді мають на увазі дослідники клінічних випробувань, коли результат є статистично значущим, але не є "клінічно значущим". Вони означають, що одне лікування може бути кращим, ніж плацебо, але різниця настільки незначна, що не матиме жодного значення для пацієнта в клінічному контексті.

Тест гіпотези (часто), що стосується питання, саме для вирішення питання про ймовірність спостережуваних даних чи чогось більш екстремального, ймовірно, припускає, що нульова гіпотеза є правдивою. Ця інтерпретація байдужа до розміру вибірки. Ця інтерпретація справедлива, незалежно від того, чи є зразок розміром 5 або 1 000 000.

Важливим застереженням є те, що тест стосується лише помилок вибірки. Будь-які помилки вимірювання, проблеми вибірки, покриття, помилки введення даних тощо не входять до сфери помилки вибірки. Зі збільшенням розміру вибірки помилки відбору проб стають все більш впливовими, оскільки невеликі відхилення можуть призвести до значних відхилень від моделі випадкової вибірки. В результаті тести на значущість стають менш корисними.

Це жодним чином не є обвинуваченням щодо перевірки значущості. Однак нам потрібно бути обережними щодо наших приписів. Результат може бути статистично значущим. Однак нам потрібно бути обережними щодо того, як ми робимо атрибуції, коли розмір вибірки великий. Чи є ця різниця через наш гіпотезований процес генерування щодо помилки вибірки чи це результат будь-якої з кількох можливих помилок відбору проб, які могли б вплинути на статистику тесту (на яку статистичні дані не враховуються)?

Інший розгляд з великими зразками - це практичне значення результату. Значний тест може запропонувати (навіть якщо ми можемо виключити помилку вибірки) різницю, яка є практичною в практичному розумінні. Навіть якщо цей результат малоймовірний з огляду на модель вибірки, чи є він суттєвим у контексті проблеми? Враховуючи достатньо велику вибірку, різниці в декількох доларах може бути достатньо для отримання результату, який є статистично значущим при порівнянні доходів між двома групами. Це важливо в будь-якому змістовному сенсі? Статистична значущість не є заміною для хорошого судження та знань з предметів.

Як осторонь, нуль не є ні істинним, ні хибним. Це модель. Це припущення. Ми припускаємо, що нуль є істинним, і оцінюємо наш зразок з урахуванням цього припущення. Якщо наш зразок навряд чи врахує це припущення, ми більше довіряємо нашій альтернативі. Піддавати сумніву, чи ніколи на практиці справді є нульове значення, - це нерозуміння логіки перевірки значимості.

Один простий пункт, який не було зроблено безпосередньо в іншій відповіді, - це те, що "просто недійсні гіпотези є помилковими".

Проста гіпотеза про те, що фізична монета має ймовірність головок точно рівну 0,5, ок, це неправда.

Але складна гіпотеза про те, що у фізичної монети ймовірність головки більша за 0,499 і менше 0,550, може бути правдивою. Якщо так, жоден тест гіпотези - незалежно від того, скільки монет перевертається, - не зможе відхилити цю гіпотезу з ймовірністю, що перевищує (тести пов'язані з помилковими позитивами).$\alpha$

З цієї причини медична галузь постійно перевіряє гіпотези на "неповноцінність" - наприклад, новий препарат проти раку повинен показати, що ймовірність виживання без прогресування пацієнтів не менше ніж на 3 відсоткових пункти нижча, ніж у існуючого препарату , на певному рівні довіри ( , як правило, 0,05).$\alpha$

У певному сенсі, [все] багато нульової гіпотези [завжди] помилково (група людей , що живуть в будинках з непарними номерами робить ніколи точно заробите ж в середньому , як група людей , що живуть в будинках з парними номерами).

У частофілістських рамках питання, яке задається, полягає в тому, чи різниця в доходах між двома групами більша, ніж (де - квантиль розподілу статистика тесту під нулем). Очевидно, що для росту без кордонів, ця смуга стає все легшою для прориву. T α α $T_{\alpha}n^{-0.5}$$T_{\alpha}$$\alpha$$n$

Це не дефект статистичних тестів. Просто наслідок того, що без додаткової інформації (попередньої) ми маємо, що велика кількість невеликих невідповідностей нулю потрібно сприймати як доказ проти нуля. Якими б тривіальними не виявлялися ці невідповідності.

У великих дослідженнях стає цікавим переосмислити цю проблему як байєсівський тест, тобто запитати себе (наприклад), що таке .$\hat{P}(|\bar{\mu}_1-\bar{\mu}_2|^2>\eta|\eta, X)$

Коротка відповідь - «ні». Дослідження тестування гіпотез в асимптотичному режимі нескінченних спостережень та множинних гіпотез було дуже-дуже активним протягом останніх 15-20 років, завдяки мікромасив даних та фінансових даних. Довга відповідь - на сторінці курсу Стат 329 «Велике масштабне одночасне висновок», яке викладав у 2010 році Бред Ефрон. Цілий розділ присвячено великомасштабна перевірка гіпотез.

Тестування гіпотез для великих даних повинно враховувати бажаний рівень різниці, а не є різниця чи ні. Вас не цікавить H0, що оцінка дорівнює рівно 0. Загальним підходом було б перевірити, чи різниця між нульовою гіпотезою та спостережуваним значенням більша, ніж задане відсічне значення.

$\bar{X_1} > \bar{X_2}$

$H_0:\bar{X1}-\bar{X2} = \delta$

$H_A$$\bar{X1}-\bar{X2} > \delta$

mod.test <- function(x1,x2,dif,...){
    avg.x1 <- mean(x1)
    avg.x2 <- mean(x2)
    sd.x1 <- sd(x1)
    sd.x2 <- sd(x2)

    sd.comb <- sqrt((sd.x1^2+sd.x2^2)/2)
    n <- length(x1)
    t.val <- (abs(avg.x1-avg.x2))*sqrt(n)/sd.comb
    ncp <- (dif*sqrt(n)/sd.comb)
    p.val <- pt(t.val,n-1,ncp=ncp,lower.tail=FALSE)
    return(p.val)
}

n <- 5000

test1 <- replicate(100,
  t.test(rnorm(n),rnorm(n,0.05))$p.value)
table(test1<0.05)
test2 <- replicate(100,
  t.test(rnorm(n),rnorm(n,0.5))$p.value)
table(test2<0.05)

test3 <- replicate(100,
   mod.test(rnorm(n),rnorm(n,0.05),dif=0.3))
table(test3<0.05)

test4 <- replicate(100,
   mod.test(rnorm(n),rnorm(n,0.5),dif=0.3))
table(test4<0.05)

Що дає:

> table(test1<0.05)
FALSE  TRUE 
   24    76 

> table(test2<0.05)
TRUE 
 100 

> table(test3<0.05)
FALSE 
  100 

> table(test4<0.05)
TRUE 
 100 

"Чи означає це, що тестування гіпотез непридатне для великих наборів даних?"

Ні, це не означає. Загальне повідомлення полягає в тому, що рішення, прийняті після проведення тестування гіпотез, повинні завжди враховувати оцінений розмір ефекту, а не тільки значення p. Зокрема, в експериментах з дуже великими розмірами вибірки ця необхідність враховувати розмір ефекту стає драматичною. Звичайно, в цілому користувачам це не подобається, оскільки процедура стає менш "автоматичною".

Розглянемо цей приклад моделювання. Припустимо, у вас є випадкова вибірка в 1 мільйон спостережень із стандартного нормального розподілу,

n <- 10^6
x <- rnorm(n)

$0.01$

y <- rnorm(n, mean = 0.01)

$95\%$$2.5\times 10^{-14}$

t.test(x, y)

        Welch Two Sample t-test

data:  x and y
t = -7.6218, df = 1999984, p-value = 2.503e-14
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -0.013554059 -0.008009031
sample estimates:
   mean of x    mean of y 
0.0008947038 0.0116762485

$95\%$$[-0.013, -0.008]$

Чи є різниця між двома популяційними засобами цього порядку величини відносно конкретної проблеми, яку ми вивчаємо, чи ні?

$H_{ST}:d_{1}=1.23,d_{2}=1.11,\dots$$d_{i}$

Але зазвичай ця гіпотеза не впевнена. Якщо ви подумаєте про те, що ви насправді хочете зробити з тестом на гіпотезу, то незабаром визнаєте, що вам слід відхилити нульову гіпотезу, лише якщо вам щось краще замінити. Навіть якщо ваш нуль не пояснює дані, викидання їх не буде корисним, якщо у вас немає заміни. Тепер ти завжди замінив би нуль гіпотезою "певна річ"? Напевно, ні, тому що ви не можете використовувати ці «впевнені речі» гіпотезу для узагальнення поза набором даних. Це не набагато більше, ніж друк ваших даних.

Отже, що вам слід зробити, це уточнити гіпотезу, що ви насправді зацікавились би діяти, якби вони були правдивими. Потім зробіть відповідний тест для порівняння цих альтернатив між собою - а не для якогось неактуального класу гіпотез, які ви знаєте помилковими або непридатними.

$H_{0}:\mu=0$$H_{1}:\mu\in\{\pm 1,\pm 2,\pm 3,\pm 4,\pm 5,\pm 6\}$$0.5$$100$

Висновок полягає в тому, що вам потрібно вказати простір своєї гіпотези - ті гіпотези, які вас насправді цікавлять. Здається, що з великими даними це стає дуже важливою справою, просто тому, що ваші дані мають стільки рішучої сили. Також здається, що важливо порівнювати, як гіпотеза - точка з точкою, сполука зі сполукою - щоб отримати хороші результати.

Ні. Правда, всі тести гіпотез корисних точок є послідовними і, таким чином, покажуть значний результат, якщо лише розмір вибірки буде достатньо великим і існує якийсь неактуальний ефект. Щоб подолати цей недолік тестування статистичних гіпотез (про що вже згадувалося у відповіді Гаетана Лева вище), є тести на відповідність. Вони схожі на тести на еквівалентність, але ще рідше. Для тесту на відповідність уточнюється розмір мінімального відповідного ефекту. Тест на відповідність може базуватися на довірчому інтервалі для ефекту: Якщо довірчий інтервал і область відповідності неперервні, ви можете відхилити нуль.

Однак ван дер Лаан і Роуз припускають у своєму твердженні, що навіть справжні нульові гіпотези перевіряються в дослідженнях. Якщо нульова гіпотеза вірна, поширеність відхилення не більша, ніж альфа, особливо у випадку великих зразків і навіть неправильно визначених, я можу бачити лише те, що розподіл вибірки систематично відрізняється від розподілу популяції,

Стаття, яку ви згадуєте, має вагому думку, що стосується стандартних частофілістських тестів. Ось чому тестування на заданий розмір ефекту є дуже важливим. Для ілюстрації, ось anova між 3 групами, де група B трохи відрізняється від групи A і C. спробуйте це в r:

treat_diff=0.001 #size of treatment difference
ns=c(10, 100, 1000, 10000, 100000, 1000000) #values for sample size per group considered
reps=10 #number of test repetitions for each sample size considered
p_mat=data.frame(n=factor(), p=double()) #create empty dataframe for outputs
for (n in ns){ #for each sample size
  for (i in c(1:reps)){ #repeat anova test ‘reps’ time
    treatA=data.frame(treatment="A", val=rnorm(n)) 
    treatB=data.frame(treatment="B", val=rnorm(n)+treat_diff) #this is the group that has the means slightly different from the other groups
    treatC=data.frame(treatment="C", val=rnorm(n))
    all_treatment=rbind(treatA, treatB, treatC)
    treatment_aov=aov(val~treatment, data=all_treatment)
    aov_summary=summary(treatment_aov)
    p=aov_summary[[1]][["Pr(>F)"]][1]
    temp_df=data.frame(n=n, p=p)
    p_mat=rbind(p_mat, temp_df)
  }
}

library(ggplot2)
p <- ggplot(p_mat, aes(factor(n), p))
p + geom_boxplot()

Як очікувалося, при збільшенні кількості проб за один тест статистична значимість тесту зростає:

Я думаю, що вони означають, що часто роблять припущення про щільність ймовірності нульової гіпотези, яка має "просту" форму, але не відповідає справжній щільності ймовірності.

Тепер з невеликими наборами даних вам може не вистачити чутливості, щоб побачити цей ефект, але, маючи достатньо великий набір даних, ви відкинете нульову гіпотезу і зробите висновок, що існує новий ефект замість того, щоб зробити висновок, що ваше припущення про нульову гіпотезу неправильне.

$\alpha$

$H_0$$H_1$

Потужність збільшується з розміром вибірки (всі інші речі рівні).

Але твердження про те, що "Ми знаємо, що для достатньо великих розмірів вибірки кожне дослідження, включаючи те, в якому нульова гіпотеза про відсутність ефекту є істинною, оголосить статистично значимий ефект". невірно.