Примітка. Якщо ви хочете швидко відповісти на своє запитання щодо використання тесту на неоднорідність для прийняття цього рішення, прокрутіть униз до пункту " Які обгрунтування обґрунтовані? ".
Є кілька обґрунтувань (деякі більш / менш розумні, ніж інші), які пропонують дослідники для вибору мета-аналітичного синтезу з фіксованими ефектами проти випадкових ефектів. Про них йде мова у вступних підручниках з мета-аналізу, як, наприклад, Borenstein et al. (2009), Card (2011) та Cooper (2017).
Не засуджуючи і не потураючи жодному з цих виправдань (поки що), вони включають:
Обґрунтування вибору моделі фіксованих ефектів
- Аналітична простота : Деякі люди вважають, що обчислення / інтерпретація моделі випадкових ефектів виходить за рамки їх статистичного розуміння, і тому дотримуються більш простої моделі. За допомогою моделі з фіксованим ефектом досліднику потрібно лише оцінити мінливість розмірів ефектів, зумовлених помилкою вибірки. На краще чи гірше, це прагматична практика, чітко закликана в Card (2011).
Попередня віра в відсутність змінності рівня дослідження / Модератори : Якщо дослідник вважає, що всі розміри ефектів у їх вибірці змінюються лише через помилку вибірки - і що немає систематичної змінності рівня дослідження (а отже, і немає модераторів - не було б) мало імперативу, щоб підходити до моделі випадкових ефектів. Я думаю, що це обгрунтування і колишній іноді йдуть рука об руку, коли дослідник відчуває, що підходить модель випадкових ефектів виходить за межі їх можливостей, а потім згодом раціоналізує це рішення, стверджуючи, після факт, що вони не передбачають жодної кількості справжньої гетерогенності на рівні дослідження.
Систематичні модератори вичерпно враховували : Деякі дослідники можуть використовувати аналіз з фіксованим ефектом після того, як вони дослідили та врахували кожного модератора, про який вони можуть придумати. Основне обґрунтування тут полягає в тому, що як тільки дослідник враховує кожне можливе / значиме джерело змінності рівня дослідження, все, що може залишитися, - це помилка вибірки, і тому модель випадкових ефектів була б непотрібною.
- Незначущий тест на гетерогенність (тобто, статистика)Q : Дослідник може відчувати себе комфортніше, приймаючи модель з фіксованими ефектами, якщо вони не зможуть відкинути нуль однорідної вибірки розмірів ефектів.
- Намір робити обмежені / конкретні умовиводи : моделі з фіксованими ефектами підходять для того, щоб говорити про моделі ефектів строго в межах вибірки ефектів. Отже, дослідник може виправдати пристосування моделі з фіксованими ефектами, якщо їм зручно говорити лише про те, що відбувається в їхній вибірці, а не спекулювати на тому, що може статися в дослідженнях, пропущених їх оглядом, або в дослідженнях, які приходять після їх огляду.
Обґрунтування вибору моделі випадкових ефектів
Попереднє переконання у змінності рівня дослідження / Модератори : На відміну від Обґрунтування 2. (на користь моделей з фіксованими ефектами), якщо дослідник передбачає, що буде деяка значуща кількість змінності рівня дослідження (і, отже, помірність), вони б за замовчуванням для визначення моделі випадкових ефектів. Якщо ви походите з психологічного походження (я це роблю), це стає дедалі звичнішим / заохочуваним способом роздумів щодо розмірів ефекту (наприклад, див. Cumming, 2014).
Значний тест на гетерогенність (тобто статистику )Q : так само, як дослідник може використовувати несуттєвий тест для обгрунтування вибору моделі з фіксованими ефектами, так також вони можуть використовувати значний тест (відхиляючи нульові розміри однорідного ефекту ) обґрунтувати їх використання моделі випадкових ефектів.QQ
Аналітичний прагматизм : виявляється, якщо ви підходите до моделі випадкових ефектів і немає значної гетерогенності (тобто не є значущим), ви прийдете до оцінок з фіксованим ефектом; лише за наявності значної неоднорідності ці оцінки зміняться. Тому деякі дослідники можуть замовчувати модель випадкових ефектів, вважаючи, що їх аналіз "буде працювати" так, як вони повинні, залежно від якостей базових даних.Q
Намір зробити широкі / узагальнюючі умовиводи : На відміну від моделей з фіксованими ефектами, випадкові ефекти дозволяють досліднику говорити (певною мірою) за їх зразком, з точки зору моделей ефектів / модерації, які будуть відтворюватися в більш широкій літературі. Якщо такий рівень висновку є бажаним для дослідника, вони, можливо, віддадуть перевагу моделі випадкових ефектів.
Наслідки визначення неправильної моделі
Хоча це не явна частина вашого питання, я вважаю, що важливо вказати, чому досліднику важливо "правильно його" вибирати між моделями метааналізу з фіксованими ефектами та випадковими ефектами: це значною мірою зводиться до оцінки точність та статистична потужність .
Моделі з фіксованими ефектами є більш статистично потужними, ризикуючи отримати штучно точні оцінки; Моделі випадкових ефектів менш статистично потужні, але потенційно розумніші, якщо існує справжня гетерогенність. У контексті тестів модераторів моделі з фіксованим ефектом можуть недооцінювати ступінь відхилення помилок, тоді як моделі випадкових ефектів можуть завищувати ступінь відхилення помилок (залежно від того, виконуються чи порушені їхні припущення щодо моделювання, див. Overton, 1998). Знову ж таки, в літературі з психології виникає все більший сенс, що поле занадто сильно покладається на мета-аналізи з фіксованими ефектами, і тому ми обманюємо себе у більшій мірі визначеності / точності у своїх ефектах (див. Schmidt et al ., 2009).
Які обгрунтування є розумними?
Щоб відповісти на ваш конкретний запит безпосередньо: деякі (наприклад, Borenstein et al., 2009; Card, 2001) застереження щодо використання статистики тесту на гетерогенність для вирішення питання про те, чи вказати модель фіксованих ефектів або випадкових ефектів ( Обґрунтування 4. та обґрунтування 7. ). Ці автори натомість стверджують, що вам слід прийняти це рішення насамперед на концептуальній основі (тобто, Обгрунтування 2. або Обґрунтування 6. ). Помилковість статистики для цієї мети також має певний інтуїтивний сенс в контексті особливо малих (або особливо великих) синтезів, деQQQ ймовірно, буде недостатньо живлення для виявлення значущої неоднорідності (або надмірного живлення для виявлення тривіальних кількостей неоднорідності).
Аналітична простота ( Обгрунтування 1. ) видається ще одним виправданням моделей з фіксованими ефектами, які навряд чи будуть успішними (з мотивів, які я вважаю більш очевидними). Стверджуючи, що всі можливі модератори вичерпані ( Обгрунтування 3. ), з іншого боку, в деяких випадках може бути більш переконливим, якщо дослідник може продемонструвати, що вони розглядали / моделювали широкий спектр модераторних змінних. Якщо вони зашифрували лише декількох модераторів, це виправдання, швидше за все, буде розцінено як досить пристойне / хитке.
Дозвіл даних приймати рішення за допомогою стандартної моделі випадкових ефектів ( Обгрунтування 8. ) - це те, в чому я не впевнений. Це, звичайно, не активне / принципове рішення, але в поєднанні зі зміною сфери психології у напрямку до переваги моделей випадкових ефектів як дефолту, це може виявитися прийнятним (хоча і не особливо продуманим) обґрунтуванням.
Це залишає виправдання, пов’язані з попередніми переконаннями щодо розподілу (-ів) ефектів ( Обгрунтування 2. та Обґрунтування 6. ), а також ті, що стосуються видів висновків, які дослідник хоче отримати ліцензію ( Обгрунтування 5. та Обґрунтування 9.). Правдоподібність попередніх переконань щодо розподілу ефектів значною мірою зводиться до особливостей дослідження, яке ви синтезуєте; Як зауважує Купер (2017), якщо ви синтезуєте ефекти механістичних / універсальних процесів, зібраних з багато в чому подібних контекстів / зразків, і в жорстко контрольованих середовищах аналіз фіксованих ефектів може бути цілком розумним. Синтез результатів реплікацій того ж експерименту був би хорошим прикладом того, коли ця аналітична стратегія може бути бажаною (див. Goh et al., 2016). Однак, якщо ви синтезування поле , де конструкції, маніпуляції, заходи, контексти і вибіркові характеристики трохи відрізняються, це , здається, стає все важче стверджувати , що один вчиться точнооднаковий ефект у кожному випадку. Нарешті, види висновків, які ви хочете зробити, здаються питаннями особистого уподобання / смаку, тому я не впевнений, як би хтось почав сперечатися за / проти цього обгрунтування до тих пір, поки це здавалося б концептуально обоправданим.
Список літератури
Боренштейн, М., Хедж, Л. В., Хіггінс, JPT та Ротштайн, HR (2009). Вступ до мета-аналізу . Західний Сассекс, Великобританія: Wiley.
Картка, НА (2011). Прикладний метааналіз для досліджень з суспільствознавства. Нью-Йорк, Нью-Йорк: Гілфорд Прес.
Купер, Х. (2017). Синтез та метааналіз досліджень: покроковий підхід. Тисяча Оукс, Каліфорнія: Мудрець.
Куммінг, Г. (2014). Нова статистика: чому і як. Психологічна наука , 25 (1), 7-29.
Goh, JX, Hall, JA, & Rosenthal, R. (2016). Міні-мета-аналіз власних досліджень: деякі аргументи про те, чому і буквар про те, як. Психологічний компас із соціальної та особистісної особи , 10 (10), 535-549.
Овертон, штат Колумбія (1998). Порівняння фіксованих ефектів та змішаних (випадкових ефектів) моделей для мета-аналізу тестів модераторних змінних ефектів. Психологічні методи , 3 (3), 354-379.
Schmidt, FL, Oh, IS, & Hayes, TL (2009). Моделі з фіксованою проти випадкових ефектів у мета-аналізі: властивості моделі та емпіричне порівняння відмінностей у результатах. Британський журнал математичної та статистичної психології , 62 (1), 97-128.