Плюси і мінуси мета-аналізу

Я розглядав можливість зробити якийсь метааналіз для певної галузі дослідження в еволюції, але перш ніж піти далі, хотів би знати; які позитивні та негативні процеси? Наприклад, відсутність необхідності у практичному експерименті є перевагою (час та гроші), але буде зміщення публікації (публікуються більш захоплюючі результати), що буде недоліком.

Які статті в журналах статистики обговорюють плюси і мінуси мета-аналізу?

Вступ до метааналізу Боренштейна, Хеджеса, Хіггінса та Ротштейна забезпечує детальне обговорення плюсів і мінусів метааналізу. Дивіться, наприклад, розділ " Критика метааналізу ", де автори відповідають на різні критики метааналізу. Я зазначаю заголовки розділів для цієї глави, а потім роблю з пам'яті кілька спостережень, які стосуються цього пункту:

• "одне число не може підсумувати дослідницьке поле": Хороший мета-аналіз буде моделювати мінливість у справжніх розмірах ефекту та моделювати невизначеність оцінок.
• "проблема ящика файлів недійсна мета-аналіз": Діаграми воронки та пов'язані з ними інструменти дозволяють дізнатись, чи пов'язаний розмір вибірки з розміром ефекту, щоб перевірити на зміщення публікації. Хороші метааналізи намагаються отримати неопубліковані дослідження. Це питання ділиться з розповідними дослідженнями.
• "Змішування яблук та апельсинів": Хороший метааналіз забезпечує жорстку систему кодування для категоризації включених досліджень та обґрунтування включення та виключення досліджень у метааналіз. Після класифікації досліджень можна провести модераторний аналіз, щоб побачити, чи змінюються розміри ефектів залежно від типу дослідження.
• "Важливі дослідження ігноруються": Ви можете кодувати оцінену якість досліджень. Великі зразки можуть бути наділені більшою вагою.
• "мета-аналіз може не погодитися з рандомізованими випробуваннями":
• "метааналізи виконуються погано": це лише аргумент для вдосконалення стандартів метааналітичних методів.
• "Чи краще оглядовий огляд?": Багато критики метааналізу (наприклад, упередженість публікацій) поділяються оповідними оглядами. Просто способи умовиводу є менш явними та менш жорсткими в оповідальних оглядах.

На моєму досвіді роблячи їх, якщо вони цього не робили раніше, як у тому, що ти не надаєш власного повороту на площу, то правильні журнали не мають упередженості проти них. Мета-аналіз не отримає науку, але у вашій галузі хороші журнали, як правило, добре підходять з новими метааналізами.

Заощаджений час та витрати, не роблячи експерименту, часто їдять, роблячи інші речі. Одне з важливих питань полягає в тому, що багато статей не повідомляють про достатню кількість інформації для їх аналізу. Вам часто доводиться звертатися до авторів, щоб відновити це, і вони, на жаль, часто часто не можуть або не відповідають вимогам. Це найбільший проміжок часу в процесі.

Ви також пропустили деякі плюси, як високі показники цитування. Якщо ви перший і єдиний метааналіз, нові дослідники дуже часто цитують вашу роботу. Інший фактор - відносно легкі подальші дослідження. Через рік-два, в динамічну сферу вивчення, вам просто доведеться додати наступні два роки досліджень, щоб подальший мета-аналіз. Координація мета-аналізу в галузі дослідження порівняно легко, якщо ви перший користувач. Потім це призводить до відносно високих показників цитування.

Якщо ви стурбовані тим, що результати, отримані з літератури, мають зміщення публікацій, є такі статистичні прийоми, як графіки воронки (розмір дослідження (часто -сезон) на осі y та ефект на x), які можна використовувати виявити таке. Незаангажована література на тему, як правило, матиме результати, які є симетричними у сюжетній послідовності, але ефект через упередженість публікації виглядатиме набагато більше, як це лише половина поширення. І на відміну від експериментів, виявлення, що дані, що входять у метааналіз, є необґрунтованими.

Я думав, що буду робити критику до "Критики метааналізу" з вибаченнями перед Майклом Боренштейном та колегами.

• "одне число не може підсумувати дослідницьке поле": Хороший мета-аналіз буде моделювати мінливість у справжніх розмірах ефекту та моделювати невизначеність оцінок.

! Варіантність - це лише інше, можливо, оманливе резюме, як це є недостовірність, і обидва будуть дуже оманливими, якщо з упередженнями, які майже напевно є, явно не розглядаються.

• "проблема ящика файлів недійсна мета-аналіз": Діаграми воронки та пов'язані з ними інструменти дозволяють дізнатись, чи пов'язаний розмір вибірки з розміром ефекту, щоб перевірити на зміщення публікації. Хороші метааналізи намагаються отримати неопубліковані дослідження. Це питання ділиться з розповідними дослідженнями.

! Як казав Бокс колись - як надіслати човен, щоб пересвідчитися, чи моря досить спокійні, щоб королева Марія в'їхала. Дуже низька потужність і майже напевно неправильно визначений процес цензури .

• "Змішування яблук та апельсинів": Хороший метааналіз забезпечує жорстку систему кодування для категоризації включених досліджень та обґрунтування включення та виключення досліджень у метааналіз. Після класифікації досліджень можна провести модераторний аналіз, щоб побачити, чи змінюються розміри ефектів залежно від типу дослідження.

! Знову безперспективна влада і зазвичай згоди.

• "Важливі дослідження ігноруються": Ви можете кодувати оцінену якість досліджень. Великі зразки можуть бути наділені більшою вагою.

! Тепер безнадійна сила, модель неправильно специфікація і зсув не завжди належна увага повинна приділятися Престол на упередженість вироблених показників якості в мета-аналізі

• "мета-аналіз може не погодитися з рандомізованими випробуваннями":

! Повна згода, а також єдине джерело про реальну невизначеність їх.

• "метааналізи виконуються погано": це лише аргумент для вдосконалення стандартів метааналітичних методів.

! Повністю згоден.

• "Чи краще оглядовий огляд?": Багато критики метааналізу (наприклад, упередженість публікацій) поділяються оповідними оглядами. Просто способи умовиводу є менш явними та менш жорсткими в оповідальних оглядах.

! Повністю згоден.

Не впевнений, чому велика частина літератури з мета-аналізу - такі окуляри з рожевими кольорами - мета-аналізи потрібно робити Метааналіз в медичних дослідженнях: Сильне заохочення до підвищення якості в окремих дослідницьких зусиллях , але слід критично робити з повним усвідомленням усіх сусла.

І, як я майже завжди забуваю, мені потрібно уточнити, що саме я маю на увазі під метааналізом, як це розуміють інші, що змінюється з часом і місцем, і, мабуть, найпоширенішим значенням сьогодні - просто кількісні методи, що використовуються для отриманих чисел в систематичному огляді - це не те, що я маю на увазі. Я маю на увазі весь процес систематичного огляду, навіть якщо вирішено взагалі не використовувати жодних кількісних методів. Або лише одним реченням, яке цитується у вікі

У статистиці метааналіз стосується методів, орієнтованих на протиставлення та комбінування результатів різних досліджень, з надією виявити закономірності між результатами дослідження, джерела розбіжностей між цими результатами чи інші цікаві взаємозв'язки, які можуть виявитись у контексті багаторазові дослідження.