Без багаторівневого моделювання, як обробити реплікацію всередині дослідження в мета-аналізі, де дослідження є одиницею реплікації?

Опис дослідження:

Я помітив поширену помилку серед мета-аналізів щодо обробки реплікації в рамках дослідження. Мені не зрозуміло, чи помилка визнає недійсними дослідження при викладенні припущень. Однак, як я розумію, ці припущення порушують основну передумову статистики.

В якості прикладу, дослідження перевіряє вплив хімічного на відповідь . $X$ $Y$

Аналіз проводиться за коефіцієнтом відповіді log: відношення обробки (за наявності ) до контролю (немає ): $Y_{+X}$ $X$ $Y_{0}$ $X$

R = \ln (\frac{Y_{+ X}}{Y_{0}})

$R = \ln(\frac{Y_{+X}}{Y_{0}})$

Деякі з досліджень , включених в мета-аналіз містить кілька процедур, наприклад , різні рівні або хімічні форми . Для кожної обробки існує різне значення , хоча завжди використовує те саме значення . $X$ $R$ $R$ $Y_0$

Методи констатують:

відповіді на різні методи лікування (рівні та форми ) в рамках одного дослідження вважалися незалежними спостереженнями. $X$

Запитання:

Це не псевдорепликація?
Чи недоцільно, навіть якщо порушення незалежності зазначено в методах?
Який був би простий спосіб (наприклад, у можливості простого програмного забезпечення для мета-аналізу) впоратися з реплікацією дослідження?

Початкові думки:

Узагальнити результати кожного дослідження, наприклад, взявши середню відповідь
Виберіть лише одне лікування з кожного дослідження на основі апріорних критеріїв (наприклад, найвища доза, перше вимірювання)?

Чи є інші рішення?

repeated-measures meta-analysis

— Девід Лебоуер
джерело

Це лише швидка здогадка, але ви, можливо, захочете перевірити Кім / Беккер 2010: Ступінь залежності між розмірами ефекту багаторазового лікування ; Я не читав статті, але це може бути пов'язане з вашим запитанням.

— Бернд Вайс

Чи справді метааналіз є просто усередненням усіх цих різницьких значень R? Це здається досить дивним, порівняно, наприклад, із спробою метарегресії - у цьому випадку різниці між R на різних рівнях X можуть бути те, що вам цікаво поєднувати між собою дослідження.

— гість

@guest так, вони насправді є; було б цікаво, як різні рівні X впливають на R, але питання задається просто "чи є ефект X"? У цьому контексті може бути обмежено потужність для перевірки впливу X на R (реакція екосистеми на додавання поживних речовин) через різноманітність методів та умов дослідження.

— Девід Лебоуер

Ти маєш рацію, це проблема. Не стільки з точковими оцінками, але точністю (тобто стандартними помилками) буде занадто мало; він ігнорує багаторазове використання даних контрольної групи. Однак це не повинно бути новиною для будь-кого у мета-аналізі. Стаття Кіма / Беккера в основному - це повторна заява - з визнанням - Gleser & Olkin (1994). Стохастично залежні розміри ефекту. У справі Cooper & Hedges (Eds), Підручник з синтезу досліджень (с. 339–355). Ця книга є стандартним текстом у цій галузі, я вірю зараз у друге видання.

— гість

Відповіді:

Так, це проблема, оскільки існує залежність вибірки у відповідях, яку потрібно враховувати (хоча іноді ефект може бути незначним, і ми порушуємо припущення весь час, коли проводимо статистичний аналіз). Існують методи вирішення цього питання. Один із підходів полягає у включенні коваріацій між спорідненими експериментами (позадіагональні блоки) у матриці дисперсії-коваріації помилок (див., Наприклад, Hedges et al., 2010). На щастя, із коефіцієнтами журналу це досить просто. Ви можете отримати приблизні коваріації між експериментами, оскільки дисперсія (var) журналу R є (якщо Yx і Y0 незалежні групи): log Yx - log Y0, щоб слідувати позначенням у питанні, Yx посилається на експериментальну групу і Y0 контрольна група. Коваріація (cov) між двома значеннями (наприклад, обробка 1 och обробка 2) для log R є cov (loge Yx_1 - log Y0, log Yx_2 - log Y0), що дорівнює var (log Y0), і обчислюється як SD_Y0 / (n_Y0 * Y0), де SD_Y0 - стандартне відхилення Y0, n_Y0 - розмір вибірки в контрольній обробці, а Y0 - значення в контрольній обробці. Тепер ми можемо підключати до нашої моделі всю матрицю дисперсії-коваріації замість того, щоб використовувати лише дисперсії (ei), що є класичним способом проведення метааналізу. Приклад цього можна знайти вLimpens та ін. 2011 р. З використанням пакету metahdep в R (на біопровіднику) або Stevens and Taylor 2009 для Hedge´s D.

Якщо ви хочете зробити це дуже просто, я б спокусився проігнорувати проблему і спробувати оцінити ефект залежності від вибірки (наприклад, скільки методів лікування є в рамках досліджень? Як змінюються результати, якщо я використовую лише одне лікування? Тощо) .

— GGeco
джерело

Так, це проблема.

Так, це недоцільно, навіть якщо він принаймні є прозорим щодо того, що робить (він отримує бали за прозорість, але все ще не є задовільним).

Я сумніваюся, що існує "простий спосіб" це виправити. Я мало знаю про підходи, що застосовуються до мета-аналізу, але якщо є специфічне програмне забезпечення для мета-аналізу та такі дослідження проводяться з його допомогою та публікуються, це, можливо, є загальним підходом. Будь-який із запропонованих вами відповідей втрачає певну деталізацію інформації з кожного дослідження (тобто протилежну проблему, яку робили видавці).

Очевидним рішенням є модель змішаних ефектів (тобто багаторівнева) з дослідженням як випадковий фактор. Я б запропонував використовувати для цього спеціалізований статистичний пакет, якщо програмне забезпечення для мета-аналізу не може цього зробити. Ви все ще можете використовувати програмне забезпечення для мета-аналізу для зберігання та обробки даних, а також просто експортувати дані в R, Stata або SAS для аналізу.

— Пітер Елліс
джерело

Я думав про клінічні випробування і цікавився, чи добре це в ситуації, коли крива доза-відповідь була результатом, тому що тоді можна було порівняти функції кривої. Це можливість?

— Мішель

Я не думаю, що проблема має велике значення в тому, що кілька результатів одного дослідження будуть якимось чином співвіднесені, а отже, не "новою" інформацією. Але мета-аналіз кривих функцій, безумовно, був би можливим, якщо ви якось контролювали кореляцію між різними оцінками цих кривих. Якщо вони всі однакової форми, і це лише питання оцінки параметрів, це повинно бути можливим.

— Пітер Елліс

@Michelle Я погоджуюся з Пітером: якщо ви підсумовуєте параметри кривої, то ви отримуєте по одній оцінці параметра з кожної кривої, і це повинно бути добре.

— Абе