Розривається між PET-PEESE та багаторівневими підходами до метааналізу: чи є щасливе середовище?

Зараз я працюю над метааналізом, для якого мені потрібно проаналізувати кілька розмірів ефектів, вкладених у вибірки. Я є частковою для трирівневого підходу метааналізу Чеунга (2014) щодо метааналізу залежних розмірів ефекту на відміну від деяких інших можливих стратегій (наприклад, ігнорування залежності, усереднення розмірів ефектів у межах досліджень, вибір одного розміру ефекту або зміщення одиниці аналізу). Багато моїх залежних розмірів ефекту є кореляціями, які передбачають досить чіткі (але пов'язані з місцевою ознакою) змінні, тому усереднення по них не має концептуального сенсу, і навіть якби це було, це скоротить мою кількість загальних розмірів ефекту для аналізу майже вдвічі.

У той же час, однак, я також зацікавлений у використанні методу Stanley & Doucouliagos (2014) для подолання зміщення публікацій під час оцінки метааналітичного ефекту. Якщо у двох словах, модель відповідає метарегресії, яка передбачає розміри ефекту дослідження за їх відповідними відхиленнями (тест на ефект точності або ПЕТ), або їх відповідні стандартні похибки (оцінка ефекту точності зі стандартними помилками або PEESE). Залежно від значущості перехоплення в моделі ПЕТ, або використовується перехоплення з ПЕТ-моделі (якщо ППП перехоплює р > .05), або модель ПЕЗЕ (якщо ППР перехоплює р <.05) в якості передбачуваної публікації- середній розмір ефекту без упереджень.

Моя проблема, однак, випливає з цього уривка Stanley & Doucouliagos (2014):

У наші симуляції завжди включена зайва незрозуміла неоднорідність; таким чином, за звичайною практикою, REE [оцінювачі випадкових ефектів] слід віддавати перевагу перед FEE [оцінювачами фіксованих ефектів]. Однак звичайна практика помилкова, коли відбувається вибір видання. Вибираючи статистичну значимість, РЗЕ завжди більш упереджений, ніж FEE (табл. 3). Ця передбачувана неповноцінність пояснюється тим, що REE є самим середньозваженим середнім рівнем простої середньої величини, яка має найбільший ухил до публікацій, і FEE.

Цей уривок приводить мене до думки, що я не повинен використовувати PET-PEESE в метааналітичних моделях випадкових ефектів / змішаних ефектів, але, схоже, багаторівнева метааналітична модель вимагає оцінки випадкових ефектів.

Мене роздирає, що робити. Я хочу мати змогу моделювати всі мої залежні розміри ефектів, але одночасно скористатися саме цим методом корекції зміщення публікацій. Чи є в мене спосіб легітимно інтегрувати стратегію метааналізу на 3 рівні з PET-PEESE?

Список літератури

Cheung, MWL (2014). Моделювання залежних розмірів ефекту за допомогою трирівневого метааналізу: підхід до моделювання структурного рівняння. Психологічні методи , 19 , 211-229.

Стенлі, TD, & Doucouliagos, H. (2014). Метарегресії наближення для зменшення упередженості вибору публікацій. Методи дослідження синтезу , 5 , 60-78.

Я працював над метааналізом, керуючись, головним чином, підходом Cheung (але не 3 рівня), і нещодавно натрапив на підхід PET-PEESE для виправлення зміщення публікацій. Мене також заінтригували поєднання двох підходів. Поки мій досвід. Я думаю, що існує два способи вирішити вашу проблему. Простий і більш складний.

Цитата, наведена нижче, дозволяє припустити, що випадкові ефекти посилюють упередженість публікації, тому мені здається, що якщо ви підозрюєте, що ухил публікації є проблемою, ви не можете просто використовувати модель випадкових ефектів.

Вибираючи статистичну значимість, РЗЕ завжди більш упереджений, ніж FEE (табл. 3). Ця передбачувана неповноцінність пояснюється тим, що REE є самим середньозваженим середнім рівнем простої середньої величини, яка має найбільший ухил до публікацій, і FEE.

Я припускаю, що упередженість публікацій викликає серйозне занепокоєння.

Простий підхід: моделюйте неоднорідність у PET-PEESE

Якщо я правильно зрозумів питання, я вважаю, що цей підхід є найбільш прагматичним відправною точкою.

Підхід PET-PEESE піддається розширення мета-аналітичних регресій. Якщо джерело неоднорідності випливає в основному з різних змінних розмірів ефектів, ніж ви можете моделювати гетерогенність як фіксовані ефекти, включаючи індикаторні змінні (1/0) для кожної змінної *. Крім того, якщо ви підозрюєте, що деякі змінні мають кращі вимірювальні властивості або тісніше пов'язані з вашою цікавою конструкцією, ви, можливо, захочете ознайомитися зі стилем мета-аналізу Хантера та Шмідта. Вони пропонують деякі виправлення похибки вимірювання.

Такий підхід, ймовірно, дасть вам початкове уявлення про розмір зміщення публікації через перехоплення PET та PEESE та про неоднорідність, засновану на дисперсії фіксованих ефектів.

Складніший підхід: явно моделюйте неоднорідність та зміщення публікацій

Я маю на увазі, що ви чітко моделюєте виникнення упередженості публікацій відповідно до документа Стенлі та Дукуліягоса. Ви також повинні чітко виписати три рівні Чжуна як випадкові ефекти. Іншими словами, такий підхід вимагає, щоб ви самі визначили ймовірність і, ймовірно, був би самим методологічним внеском.

Я думаю, що можна визначити таку ймовірність (з відповідними пріорами) після ієрархічного підходу Байєса в Стані та використовувати задні оцінки. У посібнику є короткий розділ з мета-аналізу. Список користувачів також дуже корисний.

Другий підхід, ймовірно, є надмірним для того, що ви хочете на цьому етапі, але, ймовірно, було б більш правильним, ніж перший підхід. І мені було б цікаво, чи працює він.

* Якщо у вас є багато змінних (і не багато розмірів ефектів), можливо, краще згрупувати подібні змінні в групи (так, це виклик судження) та використовувати групові індикатори змінних.