Які приклади прихованих змінних у контрольованих експериментах є у публікаціях?

У цій статті:

Приховані змінні: кілька прикладів Брайан Л. Столяр Американський статистик Vol. 35, № 4, листопад 1981 р. 227-233

Брайан Столяр заявляє, що "рандомізація - це не панацея". Це суперечить загальним твердженням, таким як наведене нижче:

Добре розроблений експеримент включає конструктивні особливості, які дозволяють дослідникам усунути сторонні змінні як пояснення спостережуваного зв’язку між незалежною змінною (іми) та залежною змінною. Ці сторонні змінні називаються прихованими змінними.

Цитата взята з цього питання і не має джерела, але, на мій досвід, вона є репрезентативною позицією: Приклади прихованих змінних та впливових спостережень

Одним із наведених прикладів є те, що під час тестування безпеки (зокрема канцерогенезу) червоного харчового барвника №40 на гризунах у сімдесяті роки було виявлено, що вплив клітки не вводить у світ. Зараз я прочитав багато статей журналу, що вивчають канцерогенез гризунів, і ніколи не бачив, щоб хтось повідомляв про контроль цього ефекту.

Подальше обговорення цих досліджень можна знайти тут: Тематичне дослідження статистики в регуляторному процесі: експерименти FD&C Red No. 40.

Я не зміг знайти версію, що не вимагає оплати, але ось уривок:

На січневій зустрічі ми представили попередній аналіз (14), який виявив сильну кореляцію між рівнем клітини та РЕ (ретикуло-ендотеліальна пухлина) смертністю, який коливався від 17% (нижній ряд) до 32% (верхній ряд) (таблиця 2). Ми не могли пояснити цю сильну асоціацію статтю, групою дозування або стовпчиком або позицією. Подальший аналіз (18) також показав, що положення клітки (спереду та ззаду) може бути співвіднесено із смертністю, що не стосується RE, і ця позиція корелювалась із часом до смерті, що не є RE.

Мене конкретно цікавить, чому, мабуть, існує така проблема із тиражуванням у медичній літературі, але приклади з усіх галузей будуть вітатися. Зауважте, що мене цікавлять приклади рандомізованих контрольованих експериментів, а не спостережливих досліджень.

Кілька прикладів клінічних досліджень можуть бути змінними, які виникають після рандомізації - рандомізація взагалі не захищає вас від таких. Кілька у верхній частині моєї голови, які були підняті як можливості, або були помічені:

• Зміни в поведінці після добровільного обрізання дорослих чоловіків для профілактики ВІЛ
• Диференціальна втрата від подальшого контролю між лікувальною та контрольною зброєю РКЗ
• Більш конкретний приклад може включати нещодавнє дослідження «Переваги універсального вбрання та вдягання рукавичок», що стосується профілактики лікарняних інфекцій ( коментар блогу тут , документ знаходиться за платною оплатою). Окрім втручання та, можливо, через нього, змінилися як рівень гігієни рук, так і частота контакту між пацієнтами та персоналом / відвідувачами.

Рандомізація захищає від жодного з цих ефектів, оскільки вони виникають після рандомізації.

Ось один приклад, який я знайшов для даних мікромасив. Повідомлялося, що вимірюваний вираз сильно корелює з положенням на "фішках". Це випадок, коли рандомізація положення зразків може призвести до збільшення шансу помилки маркування, тому ті, хто виконує технічну роботу, можуть вирішити не випадковим чином, якщо вони не вважають це важливим.

Випадкове призначення експериментальних одиниць для лікування контролює ймовірність того, що будь-який інший фактор, крім лікування, є причиною асоціації (1,2) ⁠. У деяких платформах мікромасив, таких як Illumina® та NimbleGenTM, кілька біологічних зразків можуть бути гібридизовані до одного мікросхеми. Ефекти позиціонування мікросхем та мікросхем можуть впливати на точність та відтворюваність експериментів з мікромасивом, якщо в експериментальній конструкції не враховано баланс та рандомізація (4). Нашою метою було порівняння впливу цих ефектів у збентеженому та рандомізованому експерименті.

Важливість рандомізації в експериментальних проектах Microarray з платформами Illumina

Рікардо А. Вердуго, Крістіан Ф. Дешеппер та Гері А. Черчілль. Лабораторія Джексона, Бар-Харбор, штат Мінесота 04609, Інститут перекладу клінік, Монреаль, КК, Канада.

У мене є приклад, який може дещо відрізнятися від того, що ви спочатку мали намір, коли ви задавали це питання. Минулий рік-другий викликав постійну дискусію в психології щодо причини відсутності повторюваності ефектів від рандомізованих експериментів. Версії цієї дискусії виникають протягом багатьох років, але дебати стали більш бурхливими з моменту опублікування документа, в якому показано, що багато практик, які є стандартними в психології, при формулюванні гіпотез, збиранні даних, аналізі даних та повідомленні результатів дозволяють дослідникам знаходити результати, що підтверджують навіть довільно вибрані гіпотези (в оригінальній статті дослідники використовували ці практики, щоб показати, що слухання "Коли мені шістдесят четвертий" Бітлз зробило людей молодшими).

Корінь проблеми, безумовно, полягає у поширених стимулюючих структурах у психології (та інших науках) для отримання нових, позитивних, «оприлюднюючих» результатів. Ці стимули спонукають науковців до дослідницької діяльності прийняти практику, яка, хоча і не настільки "неправильна", як виготовлення даних, проте приводить до збільшення кількості помилкових позитивних результатів. Ці практики включають:

1. Колекція декількох і дуже схожих залежних змінних. Повідомляється лише залежна змінна, яка дає результати, найбільш відповідні з початковою гіпотезою.
2. Під час збору даних тестування на значні результати багаторазово та зупинення збору даних при отриманні значущості.
3. Під час аналізу включення декількох коваріатів у статистичну модель. У підсумковій роботі повідомляється лише комбінація коваріатів, що призводить до результатів, найбільш відповідних початковій гіпотезі.
4. Умови скидання, що призводять до результатів, несумісних із початковими гіпотезами, і не повідомляють про ці умови у статті.

І так далі.

Я б заперечував, що "ховаюча змінна" в цих випадках - це структура стимулів, яка винагороджує дослідників за отримання позитивних "оприлюднюючих" результатів. Насправді в психології вже було кілька гучних результатів (багато з яких є за моєю спеціальністю - соціальна психологія), які не вдалося повторити. Ці невдачі для повторення, багато хто стверджує, ставлять під сумнів цілі підполі психології.

Звичайно, проблема спонукальних структур, які заохочують помилкові позитиви, не властива лише психології; це проблема, яка є ендемічною для всієї науки, а отже, і для всіх рандомізованих контрольованих випробувань.

Список літератури

Сіммонс, JP, Нельсон, LD та Сімонсон, США. (2011). Хибнопозитивна психологія: нерозкрита гнучкість у збиранні та аналізі даних дозволяє представити що-небудь як важливе. Психологічна наука , 17, 1359-1366.

Носек, Б.А., Шпигуни, Ю.Р., і Мотиль, М. (2012). Наукова утопія: II. Перебудова стимулів та практик для просування правди щодо публічності. Перспективи психологічної науки , 7, 615-631.

Йонг, Е. (2012). Неправильна копія. Природа , 485, 298-300.

Абботт, А. (2013). Оспорювані результати - новий удар для соціальної психології. Природа , 497, 16.