Як я бачу, існують дві основні проблеми спостережливих досліджень, які "контролюють" ряд незалежних змінних. 1) У вас є проблема відсутності пояснювальних змінних і, таким чином, модель неправильної специфікації. 2) У вас є проблема декількох корельованих незалежних змінних - проблема, яка не існує в (добре) розроблених експериментах, - і той факт, що коефіцієнти регресії та тести коваріатів ANCOVA засновані на частках, що ускладнює їх інтерпретацію. Перший є властивим природі спостережливих досліджень і розглядається в науковому контексті та процесі конкурентної розробки. Останнє є проблемою освіти і спирається на чітке розуміння регресії та моделей ANCOVA та саме того, що представляють ці коефіцієнти.
Щодо першого питання, досить легко продемонструвати, що якщо всі впливи на якусь залежну змінну відомі та включені в модель, статистичні методи контролю є ефективними та дають хороші прогнози та оцінки ефектів для окремих змінних. Проблема в "м'яких науках" полягає в тому, що всі відповідні впливи рідко включаються або навіть відомі, і тому моделі є недостатньо конкретизованими і важко інтерпретовані. Однак у цих областях існує багато вартісних проблем. Відповіді просто не мають певності. Краса наукового процесу полягає в тому, що він самокорегується, а моделі ставлять під сумнів, розробляються та вдосконалюються. Альтернативою є припущення, що ми не можемо дослідити ці проблеми науково, коли не можемо розробити експерименти.
Другий випуск - це технічне питання щодо характеру ANCOVA та регресійних моделей. Аналітикам потрібно зрозуміти, що представляють ці коефіцієнти та тести. Кореляції між незалежними змінними впливають на коефіцієнти регресії та тести ANCOVA. Вони - випробування партизанів. Ці моделі виймають дисперсію в заданій незалежній змінній та залежній змінній, які асоціюються з усіма іншими змінними в моделі, а потім вивчають співвідношення в цих залишках. Як результат, окремі коефіцієнти та тести дуже важко інтерпретувати поза контекстом чіткого концептуального розуміння всієї сукупності змінних та їх взаємозв'язків. Однак це не створює проблем для прогнозування - будьте обережні щодо тлумачення конкретних тестів та коефіцієнтів.
Побічна примітка: Останнє питання пов'язане з проблемою, обговореною раніше на цьому форумі, щодо реверсування знаків регресії - наприклад, від негативного до позитивного - коли інші прогнози вводяться в модель. За наявності корельованих предикторів та без чіткого розуміння множинних та складних взаємозв'язків у всій сукупності предикторів, немає підстав очікувати (за природою частковий) коефіцієнт регресії, щоб мати певну ознаку. Коли існує сильна теорія і чітке розуміння цих взаємозв'язків, такі знакові "перевороти" можуть бути освічуючими і теоретично корисними. Хоча, враховуючи складність багатьох проблем суспільствознавства, достатнє розуміння не було б загальним, я би сподівався.
Відмова: Я - соціолог та аналітик публічної політики, навчаючись.