Коефіцієнти регресії, які перевертають знак, включаючи інші прогноктори

Уявіть собі

• Ви запускаєте лінійну регресію з чотирма числовими предикторами (IV1, ..., IV4)
• Коли в якості предиктора включено лише IV1, стандартизованою бета-версією є +.20
• Якщо ви також включаєте IV2 до IV4, знак стандартизованого коефіцієнта регресії IV1 перевертається до -.25(тобто він стає негативним).

Звідси виникає кілька питань:

• Що стосується термінології, ви називаєте це "супресорним ефектом"?
• Які стратегії ви б використали для пояснення та розуміння цього ефекту?
• Чи є у вас якісь приклади таких ефектів на практиці і як ви пояснили та зрозуміли ці ефекти?

Як зазначав Джофрхлд, мультиколінеарність - звичайний підозрюваний. В основному, якщо ваші змінні позитивно співвідносяться, то коефіцієнти будуть негативно корелювати, що може призвести до неправильного знаку на одному з коефіцієнтів.

Однією з перевірок було б виконати регресію основних компонентів або регресію хребта. Це зменшує розмірність регресійного простору, обробляючи мультиколінеарність. Ви закінчуєте упереджені оцінки, але, можливо, нижчий показник MSE та виправлені знаки. Незалежно від того, йдете ви з цими конкретними результатами чи ні, це хороша діагностична перевірка. Якщо ви все-таки отримаєте зміни знаків, це може бути теоретично цікавим.

ОНОВЛЕННЯ

Виходячи з коментаря у відповіді Джона Крісті, це може бути цікавим. Зворотний зв'язок (величина чи напрямок) - приклади Парадокса Сімпсона, Парадокса лорда та ефектів придушення. Відмінності по суті стосуються типу змінної. Корисніше зрозуміти основне явище, а не думати з точки зору певного «парадокса» чи ефекту. З точки зору причинного зв'язку, поданий нижче документ добре допомагає пояснити, чому я детально процитую їх вступ та висновок, щоб зіпсувати ваш апетит.

• Роль причинного міркування в розумінні парадоксу Сімпсона, парадоксу Лорда та ефекту придушення: коваріаційний відбір в аналізі спостережних досліджень

Ту та інші представляють аналіз еквівалентності трьох парадоксів, роблячи висновок, що всі три просто повторюють недивовижну зміну асоціації будь-яких двох змінних, коли третя змінна є статистично контрольованою. Я називаю це недивовижним, тому що в умовному аналізі є звичайним перетворення чи зміна величини. Щоб уникнути будь-якого, ми повинні взагалі уникати умовного аналізу. Що стосується парадоксів Сімпсона та Лорда чи ефекту придушення, крім того, що вони вказують на очевидне, що привертає переривчасті та інколи тривожні інтереси, що спостерігаються в літературі?

[...]

На закінчення не можна перебільшувати, що хоча парадокси Сімпсона та пов'язані з цим парадокси виявляють небезпеку використання статистичних критеріїв для керування причинно-наслідковим аналізом, вони не містять ані пояснень явища, яке вони хочуть зобразити, ані покажчиків того, як їх уникнути. Пояснення та рішення лежать у причинному міркуванні, яке спирається на базові знання, а не на статистичні критерії. Давно пора ми припинили лікувати неправильно витлумачені ознаки та симптоми («парадокси») і почали займатися справою із захворюванням («причинність»). Ми повинні справедливо звернути свою увагу на багаторічну проблему відбору коваріату для причинного аналізу з використанням неекспериментальних даних.

Я вважаю, що подібні наслідки часто викликані колінеарністю (див. Це питання ). Я думаю, що книга про багаторівневе моделювання Гельмана та Хілла про це говорить. Проблема полягає в тому, що IV1вона співвідноситься з одним або декількома іншими прогнозами, і коли всі вони включаються в модель, їх оцінка стає неправдивою.

Якщо коефіцієнт згортання пов'язаний з колінеарністю, то повідомляти про це не дуже цікаво, оскільки це пов’язано не з відносинами між вашими прогнозами до результату, а насправді через зв’язок між прогнозами.

Те, що я бачив, запропонував вирішити цю проблему - це резидуалізація. Спочатку ви підходите до моделі IV2 ~ IV1, а потім приймаєте залишки цієї моделі як rIV2. Якщо всі ваші змінні є співвіднесеними, вам слід реально остаточно їх усі. Ви можете вибрати зробити так, як це

rIV2 <- resid(IV2 ~ IV1)
rIV3 <- resid(IV3 ~ IV1 + rIV2)
rIV4 <- resid(IV4 ~ IV1 + rIV2 + rIV3)

Тепер підходимо до кінцевої моделі

DV ~ IV1 + rIV2 + rIV3 + rIV4

Тепер коефіцієнт для rIV2являє собою незалежний ефект IV2заданої його кореляції з IV1. Я чув, що ви не отримаєте однакового результату, якщо ви будете резиденлізовані в іншому порядку, і що вибір порядку резидуалізації - це справді виклик судження в рамках ваших досліджень.

Дивіться Парадокс Сімпсона . Коротше кажучи, основний ефект, що спостерігається, може змінитись, коли взаємодія додається до моделі. На пов'язаній сторінці більшість прикладів є категоричними, але є фігура вгорі сторінки, яку можна було уявити безперервно. Наприклад, якщо у вас є категоричний і безперервний предиктор, то безперервний предиктор може легко перевернути знак, якщо категоричний доданий, а в межах кожної категорії знак відрізняється, ніж для загальної оцінки.