Чому знаходження невеликих ефектів у великих дослідженнях свідчить про упередженість публікації?

Кілька методичних праць (наприклад, Egger et al. 1997a, 1997b) обговорюють зміщення публікацій, як виявлено метааналізами, використовуючи воронкові сюжети, такі як наведений нижче.

У статті 1997b йдеться про те, що "за наявності упередженості публікацій очікується, що з опублікованих досліджень найбільші з них повідомлять про найменші наслідки". Але чому це? Мені здається, що все це доведе до того, що ми вже знаємо: невеликі ефекти можна виявити лише при великих розмірах вибірки ; при цьому нічого не кажучи про дослідження, які залишалися неопублікованими.

Крім того, цитується робота стверджує, що асиметрія, яка візуально оцінюється у сюжетному сюжеті, "вказує на те, що відбулося вибіркове непублікація менших випробувань з меншою перевагою". Але, знову ж , я не розумію , як будь-які особливості досліджень , які були опубліковані може можливо сказати нам що - небудь (дозволяють нам зробити висновки) про роботи , які були НЕ опубліковані!

Список літератури
Еггер, М., Сміт, Дж. Д., Філіпс, А.Н. (1997). Метааналіз: принципи та процедури . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, Schneider, M., & Minder, C. (1997). Зміщення в мета-аналізі виявлено простим графічним тестом . BMJ , 315 (7109), 629-634.

Відповіді тут хороші, +1 для всіх. Мені просто хотілося показати, як цей ефект може виглядати в крайньому випадку в сюжетному варіанті. Нижче я моделюю невеликий ефект як і малюю зразки між розмірами від 2 до 2000.$N(.01, .1)$

Сірі точки у сюжеті не публікуються при суворому режимі . Сіра лінія - це регресія розміру ефекту на розмір вибірки, включаючи дослідження "поганого p-значення", тоді як червона виключає їх. Чорна лінія показує справжній ефект.$p < .05$

Як бачимо, при упередженості публікацій існує сильна тенденція невеликих досліджень до завищення розмірів ефектів, а для більших - донесення розмірів ефекту, ближчих до істини.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{Створено 2019-02-20 пакетом reprex (v0.2.1)}

По-перше, нам потрібно подумати про те, що таке "упередженість публікації", і як це вплине на те, що насправді робить це в літературі.

Досить проста модель упередженості публікації полягає в тому, що ми збираємо деякі дані, і якщо , ми публікуємо. Інакше ми цього не робимо. То як це впливає на те, що ми бачимо в літературі? Ну, для одного, це гарантує, що (припустимо, що використовується статистика Wald). Тепер, один із моментів, що якщо дійсно малий, то відносно великий і великийце потрібно для публікації.$p < 0.05$$|\hat \theta |/ SE(\hat \theta) >1.96$$n$$SE(\hat \theta)$$|\hat \theta|$

Тепер припустимо, що насправді порівняно невелика. Припустимо, ми проводимо 200 експериментів, 100 із дійсно невеликими розмірами вибірки та 100 із дійсно великими розмірами вибірки. Зауважте, що з 100 дійсно невеликих експериментів із розміром вибірки, єдиними, які будуть опубліковані нашою простою моделлю зміщення вибірок, є ті, у кого великі значеннятільки через випадкову помилку . Однак у наших 100 експериментах з великими розмірами вибірки буде опубліковано значно менші значення . Отже, якщо більші експерименти систематично демонструють менший ефект, ніж менші експерименти, це говорить про те, що, можливо,$\theta$$|\hat \theta|$ $\hat \theta$$|\theta|$ насправді значно менший, ніж те, що ми зазвичай бачимо з менших експериментів, які насправді роблять його публікацією.

Технічна примітка: це правда, що або маючи великийта / або малий призведе до . Однак, оскільки розміри ефектів, як правило, вважаються відносними до стандартного відхилення терміна помилки, ці дві умови по суті є рівнозначними.$|\hat \theta|$ S Е ( θ ) р < 0,05$SE(\hat \theta)$$p < 0.05$

Прочитайте цю заяву по-іншому:

Якщо немає зміщення публікацій, розмір ефекту повинен бути незалежним від розміру дослідження.

Тобто, якщо ви вивчаєте одне явище, розмір ефекту - це властивість явища, а не вибірки / дослідження.

Оцінки розміру ефекту можуть (і будуть) змінюватись у різних дослідженнях, але якщо є систематичне зменшення розміру ефекту із збільшенням розміру дослідження , це говорить про наявність упередженості. Вся справа в тому, що цей взаємозв'язок говорить про те, що існують додаткові невеликі дослідження, які показують низький розмір ефекту, які не були опубліковані, і якби вони були опубліковані і тому могли бути включені в метааналіз, загальне враження складе таке, що розмір ефекту менший ніж те, що оцінено з опублікованого підмножини досліджень.

Варіантність оцінок розміру ефекту в ході досліджень буде залежати від розміру вибірки, але ви повинні бачити рівну кількість оцінок, що не перевищують і перевищують, при невеликих розмірах вибірки, якщо не було зміщення.