Чи може метааналіз досліджень, які всі «не є статистично значущими», призвести до «значного» висновку?

Метааналіз включає в себе купу досліджень, усі з яких повідомили про значення P, яке перевищує 0,05. Чи можливо для загального метааналізу повідомити значення Р менше 0,05? За яких обставин?

(Я впевнений, що відповідь "так", але я хотів би посилання чи пояснення.)

statistical-significance meta-analysis combining-p-values

— Харві Мотульський
джерело

Я мало знаю про метааналіз, але в мене склалося враження, що він не передбачає тестів на гіпотези, а лише на оцінку ефекту популяції, і в цьому випадку немає поняття про важливість.

— Кодіолог

Ну, метааналіз - наприкінці дня - це лише середньозважена середня величина. І ви, звичайно, можете встановити тест гіпотези для цієї середньозваженої середньої величини. Див., Наприклад, Боренштейн, Майкл та ін. "Основне введення у моделі мета-аналізу з фіксованим ефектом та випадковими ефектами". Методи дослідження синтезу 1.2 (2010): 97-111.

— boscovich

Інші відповіді також хороші, але простий випадок: два дослідження є значущими при p = 0,9, але не p = 0,95. Ймовірність того, що обидва незалежні дослідження покажуть р> = 0,9, становить лише 0,01, тому ваш метааналіз може виявити значення при p = 0,99

— barrycarter

Візьміть межа: Ні один вимір може надати достатньо доказів для / проти (нетривіального) гіпотези мають невеликий

значення, але досить великий набір вимірювань може.

p

$p$

— Eric Towers

p- значення не вказують ні на "статистично значущий", ні на незначний ефект. Що ми могли зрозуміти із значного висновку? Це мета аналітичний висновок?

— Subhash C. Davar

Відповіді:

Теоретично так ...

Результати окремих досліджень можуть бути незначними, але розглядати їх разом, результати можуть бути вагомими.

У теорії ви можете продовжити шляхом обробки результатів з дослідження , як і будь-який інший випадкової величини. $y_i$ $i$

Нехай - деяка випадкова величина (наприклад, оцінка з дослідження ). Тоді, якщо незалежні, а , ви можете послідовно оцінювати середнє значення за допомогою: $y_i$ $i$ $y_i$ $E[y_i]=\mu$

\hat{μ} = \frac{1}{n} \sum_{i} y_{i}

$\hat{\mu} = \frac{1}{n} \sum_i y_i$

Додаючи більше припущень, нехай - дисперсія оцінки . Тоді ви можете ефективно оцінити допомогою зворотного дисперсійного зважування: $\sigma^2_i$ $y_i$ $\mu$

\hat{μ} = \sum_{i} w_{i} y_{i} w_{i} = \frac{1 / σ_{i}^{2}}{\sum_{j} 1 / σ_{j}^{2}}

$\hat{\mu} = \sum_i w_i y_i \quad \quad w_i = \frac{1 / \sigma^2_i}{\sum_j 1 / \sigma^2_j}$

У будь-якому з цих може бути статистично значущим на якому - то рівень довіри , навіть якщо окремі оцінки не є. $\hat{\mu}$

Але можуть бути великі проблеми, проблеми, які слід усвідомлювати ...

Якщо то метааналіз може не збігатися до (тобто середнє значення метааналізу - це суперечливий оцінювач). $E[y_i] \neq \mu$ $\mu$

Наприклад, якщо є упередження щодо публікації негативних результатів, цей простий мета-аналіз може бути жахливо непослідовним і необ’єктивним! Було б як оцінити ймовірність того, що монета перекидається на голову, лише спостерігаючи за обертами там, де не приземляються хвости!
і можуть не бути незалежними. Наприклад, якщо два дослідження і були засновані на одних і тих же даних, то трактування і як незалежних у метааналізі може значно недооцінити стандартні помилки та завищену статистичну значимість. Ваші оцінки все ще будуть узгодженими, але стандартні помилки повинні розумно враховувати перехресну кореляцію в дослідженнях. $y_i$ $y_j$ $i$ $j$ $y_i$ $y_j$
Поєднання (1) та (2) може бути особливо поганим.

Наприклад, метааналіз усереднених опитувань разом, як правило, є більш точним, ніж будь-яке окреме опитування. Але усереднення спільних опитувань все ще вразливе до корельованих помилок. На минулих виборах виникла думка, що молоді працівники екзит-полу можуть опитуватись з іншими молодими людьми, а не зі старими людьми. Якщо всі опитування на виїзді роблять однакову помилку, то у вас є погана оцінка, яку ви можете вважати хорошою оцінкою (опитування виходу є корельованими, оскільки вони використовують один і той же підхід для проведення опитувань виходу, і такий підхід генерує ту саму помилку).

Безперечно, люди, більш знайомі з метааналізом, можуть запропонувати кращі приклади, більш нюансовані питання, більш складні методи оцінки тощо ..., але це стосується деяких найбільш базових теорій та деяких великих проблем. Якщо різні дослідження роблять незалежну, випадкову помилку, то метааналіз може бути неймовірно потужним. Якщо помилка буде систематизованою у всіх дослідженнях (наприклад, всі недооцінюють старших виборців тощо), то середнє дослідження також буде вимкнено. Якщо ви недооцінюєте, наскільки співвідносяться дослідження чи наскільки корелюють помилки, ви ефективно переоцінюєте свій сукупний розмір вибірки та занижуєте стандартні помилки.

Є також всілякі практичні питання послідовних визначень тощо ...

— Меттью Ганн
джерело

Я критикую метааналіз щодо ігнорування залежностей між розмірами ефектів (тобто багато розмірів ефектів базувалися на одних і тих же учасниках, але трактувалися як незалежні). Автори кажуть, що немає великого, нас просто цікавлять модератори. Я вказую на те, що ви тут зробили: трактування їх "як незалежних у метааналізі може значно недооцінити стандартні помилки та завищувати статистичну значимість". Чи є доказове / симуляційне дослідження, яке показує, чому це так? У мене є багато посилань, які говорять про те, що корельовані помилки означають занижену SE ... але я не знаю чому?

— Марк Уайт

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{1}{n^{2}} (\sum_{i} Var (X_{i}) + \sum_{i \neq j} Cov (X_{i}, X_{j}))

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{1}{n^2} \left( \sum_{i} \operatorname{Var}(X_i) + \sum_{i \neq j} \operatorname{Cov}(X_i, X_j) \right)$

i

$i$

Var (X_{i}) = σ^{2}

$\operatorname{Var}(X_i) = \sigma^2$

Cov (X_{i}, X_{j}) = 0

$\operatorname{Cov}(X_i, X_j) = 0$

i \neq j

$i\neq j$

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{σ^{2}}{n}

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{\sigma^2}{n}$

\frac{σ}{\sqrt{n}}

$\frac{\sigma}{\sqrt{n}}$

@MarkWhite Я не фахівець з мета-аналізу, і я, чесно кажучи, не знаю, що є чудовим джерелом для того, як слід робити сучасний мета-аналіз. Концептуально реплікація аналізу на ті самі дані, безумовно, корисна (як це інтенсивно вивчають деякі предмети), але це не те саме, що відтворення знахідки з нових, незалежних предметів.

— Меттью Ганн

Так, на словах: Загальна дисперсія розміру ефекту походить від (а) його дисперсії та (б) - коваріації з іншими розмірами ефекту. Якщо коваріація дорівнює 0, то нормальне оцінювання помилок нормально; але якщо він відповідає іншим розмірам ефекту, нам потрібно враховувати цю дисперсію, і ігнорування цього означає, що ми недооцінюємо дисперсію. Це ніби дисперсія складається з двох частин A і B, і ігнорування залежностей припускає, що частина B дорівнює 0, коли її немає?

— Марк Уайт

Крім того, це виглядає як хороше джерело (див. Особливо поле 2): nature.com/neuro/journal/v17/n4/pdf/nn.3648.pdf

— Марк Білий

$N$ $N$

Тест Фішера

(EDIT - у відповідь на корисний коментар @ mdewey нижче, доречно розрізняти різні метатести. Я викладаю випадок іншого мета тесту, згаданого mdewey нижче)

F = - 2 \sum_{i = 1}^{N} \ln (p_{i})

$F=-2\sum_{i=1}^N\ln(p_i)$

χ_{2 N}^{2}

$\chi^2_{2N}$

- 2 \ln (U) \sim χ_{2}^{2}

$-2\ln(U)\sim\chi^2_2$

U

$U$

$\chi^2_{2N}(1-\alpha)$ $(1-\alpha)$

$c$ $c>\alpha$ $F=-2N\ln(c)$ $F>\chi^2_{2N}(1-\alpha)$

c < \exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$c < \exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

α = 0.05

$\alpha=0.05$

N = 20

$N=20$

p

$p$

> exp(-qchisq(0.95, df = 40)/40)
[1] 0.2480904

$N$

Редагувати:

$N$ $c$ $N$ $c\approx0.36$

$\chi^2$

χ_{2 N}^{2} (1 - α) \leq 2 N + 2 \log (1 / α) + 2 \sqrt{2 N \log (1 / α)},

$\chi^2_{2N}(1-\alpha)\leq 2N+2\log(1/\alpha)+2\sqrt{2N\log(1/\alpha)},$

χ_{2 N}^{2} (1 - α) = O (N)

$\chi^2_{2N}(1-\alpha)=O(N)$

\exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$\exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

\exp (- 1)

$\exp(-1)$

N \to \infty

$N\to\infty$

\exp (- 1) \approx 0.3679

$\exp(-1)\approx0.3679$

Зворотний нормальний тест (Stouffer et al., 1949)

Z = \frac{1}{\sqrt{N}} \sum_{i = 1}^{N} Φ^{- 1} (p_{i})

$Z=\frac{1}{\sqrt{N}}\sum_{i=1}^N\Phi^{-1}(p_i)$

Φ^{- 1}

$\Phi^{-1}$

Z < - 1.645

$Z < -1.645$

α = 0.05

$\alpha=0.05$

p_{i} = c

$p_i=c$

Z = \sqrt{N} Φ^{- 1} (c)

$Z=\sqrt{N}\Phi^{-1}(c)$

c < 0.5

$c<0.5$

Φ^{- 1} (c) < 0

$\Phi^{-1}(c)<0$

Z \to_{p} - \infty

$Z\to_p-\infty$

N \to \infty

$N\to\infty$

c \geq 0.5

$c\geq0.5$

Z

$Z$

N

$N$

N \to \infty

$N\to\infty$

$Z < -1.645$ $c<\Phi(-1.645/\sqrt{N})$ $\Phi(0)=0.5$ $N\to\infty$

— Крістоф Ганк
джерело

1 / e

$1/e$

Спасибі :-). Я не очікував жодного, перш ніж побачив сюжет ...

— Крістоф Хенк

Цікаво, що метод Фішера є єдиним із широко використовуваних методів, який має цю властивість. Для більшості інших те, що ви називаєте F, збільшується з N, якщо $ c> 0,5) і зменшується в іншому випадку. Це стосується методу Стоуффера та методу Едінгтона, а також методів, заснованих на логітах та середньому значенні p. Різні методи, які є особливими випадками методу Вілкінсона (мінімум p, максимальний p тощо), знову мають різні властивості.

— mdewey

1 / e

$1/e$

p = 0.9

$p=0.9$

p

$p$

$p$ $\alpha_*$

p_{[1]} \leq p_{[2]} \dots p_{[k]}

$p_{[1]} \le p_{[2]} \dots p_{[k]}$

k

$k$

p_{[1]} < 1 - (1 - α_{*})^{\frac{1}{k}}

$\begin{equation} p_{[1]} < 1 - (1 - \alpha_*)^{\frac{1}{k}} \end{equation}$

$k$ $\alpha_*$ $p_{[1]}$ $\alpha_*$

$p$ $p_{[r]}$ $1\le r\le k$ $r=2$ $p=0.09$

Метод LHC Tippett описаний у книзі Методи статистики. 1931 р. (1-е видання) і метод Вілкінсона знаходиться тут у статті "Статистичний розгляд в психологічних дослідженнях"

— mdewey
джерело

Спасибі. Але зауважте, що більшість методів мета-аналізу поєднують розміри ефектів (враховуючи будь-яку різницю у розмірі вибірки) та не поєднують значення P.

— Харві Мотульський

@HarveyMotulsky погодився, комбінування р-значень є крайнім заходом, але ОП позначила своє запитання тегом поєднання-p-значень, тому я відповів у такому дусі

— mdewey

Я думаю, що ваша відповідь правильна.

— Subhash C. Davar