Помірна регресія: Чому ми обчислюємо термін * product * між прогнозами?

12

Поміркований регресійний аналіз часто використовується в соціальних науках для оцінки взаємодії двох або більше предикторів / коваріатів.

Як правило, з двома змінними прогностики застосовується наступна модель:

$Y = β_0 + β_1*X + β_2*M + β_3*XM + e$

Зауважте, що тест на помірність оперують продуктовим терміном $XM$ (множенням між незалежною змінною $X$ і змінною модератора $M$ ). Моє дуже принципове питання: чому ми насправді обчислюємо термін виробу між $X$ і $M$ ? Чому б, наприклад, абсолютна різниця $|M-X|$ чи просто сума $X + M$ ?

Цікаво, що Кенні натякає на цю проблему тут http://davidakenny.net/cm/moderation.htm , кажучи: "Як видно, тест на помірність не завжди функціонує терміном продукту XM", але більше пояснення не дається . Я думаю, що формальна ілюстрація чи доказ були б освічуючими.

regression interaction

— знаменник
джерело

12

"Модератор" впливає на коефіцієнти регресії проти : вони можуть змінюватися у міру зміни значення модератора. Таким чином, у повній загальності є простою регресійною моделлю модерації $Y$ $X$

E (Y) = α (M) + β (M) X

$\mathbb{E}(Y) = \alpha(M) + \beta(M)X$

де і є функції сповільнювача , а не постійні , не порушені значення . $\alpha$ $\beta$ $M$ $M$

У тому ж дусі, в якому регресія заснована на лінійному наближенні співвідношення між і , ми можемо сподіватися, що обидва і є - принаймні приблизно - лінійними функціями у межах діапазону значень у даних: $X$ $Y$ $\alpha$ $\beta$ $M$ $M$

\begin{aligned} E (Y) & = α_{0} + α_{1} M + O (M^{2}) + (β_{0} + β_{1} M + O (M^{2})) X \\ = α_{0} + β_{0} X + α_{1} M + β_{1} M X + O (M^{2}) + O (M^{2}) X . \end{aligned}

$\eqalign{ \mathbb{E}(Y) &= \alpha_0 + \alpha_1 M + O(M^2) + (\beta_0 + \beta_1 M + O(M^2))X \\ &= \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + O(M^2) + O(M^2)X. }$

Відмова від нелінійних ("big-O") термінів, сподіваючись, що вони занадто малі для значення, дає мультиплікативну (білінеарну) модель взаємодії

\begin{matrix} (1) & E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X . \end{matrix}

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX.\tag{1}$

Ця деривація пропонує цікаву інтерпретацію коефіцієнтів: - швидкість, з якою змінює перехоплення, тоді як - швидкість, з якою змінює нахил . ( та - це нахил та перехоплення, коли (формально) встановлено нулем.) - коефіцієнт "термін продукту" . Він відповідає на питання таким чином: $\alpha_1$ $M$ $\beta_1$ $M$ $\alpha_0$ $\beta_0$ $M$ $\beta_1$ $MX$

Ми моделюємо модерацію з терміном продукту , коли ми очікуємо , що модератор буде (приблизно в середньому) має лінійну залежність з нахилом проти . $MX$ $M$ $Y$ $X$

Цікавим є те, що ця деривація вказує шлях до природного розширення моделі, що може запропонувати способи перевірити придатність. Якщо ви не переймаєтесь нелінійністю в ви або знаєте, або вважаєте, що модель є точною - тоді ви хочете розширити модель, щоб вона відповідала умовам, які випали: $X$ $(1)$

E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X + α_{2} M^{2} + β_{2} M^{2} X .

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + \alpha_2M^2 + \beta_2 M^2X.$

Тестування гіпотези оцінює корисність. Оцінка та може вказувати, яким чином модель може знадобитися розширити: включити нелінійність у (коли ) або більш складні модераційні відносини (коли ) чи можливо і те й інше. (Зауважте, що цей тест не запропонував би розширення ряду потужностей родової функції .) $\alpha_2=\beta_2=0$ $\alpha_2$ $\beta_2$ $(1)$ $M$ $\alpha_2 \ne 0$ $\beta_2 \ne 0$ $f(X,M)$

Нарешті, якби ви виявили, що коефіцієнт взаємодії суттєво не відрізняється від нуля, але що придатність нелінійна (про що свідчить значне значення ), ви зробите висновок (а) є помірність, але ( б) вона не моделюється терміном , а натомість деякими термінами вищого порядку, що починаються з . Це може бути явище, на яке Кенні мав на увазі. $\beta_1$ $\beta_2$ $MX$ $M^2X$

— дзижчати
джерело

8

Якщо ви використовуєте суму предикторів для моделювання їх взаємодії, ваше рівняння буде:

\begin{array}{rcl} Y & = & β_{0} + β_{1} X + β_{2} M + β_{3} (X + M) + e \\ = & β_{0} + β_{1} X + β_{2} M + β_{3} X + β_{3} M + e \\ = & β_{0} + (β_{1} + β_{3}) X + (β_{2} + β_{3}) M + e \\ = & β_{0} + β_{1}^{'} X + β_{2}^{'} M + e \end{array}

$\begin{eqnarray} Y &=& \beta_0 + \beta_1X + \beta_2M + \beta_3(X + M) + e\\ &=& \beta_0 + \beta_1X + \beta_2M + \beta_3X + \beta_3M + e\\ &=& \beta_0 + (\beta_1 + \beta_3)X + (\beta_2 + \beta_3)M + e \\ &=& \beta_0 + \beta_1'X + \beta_2'M + e \end{eqnarray}$

де і . Тому ваша модель взагалі не матиме взаємодії. Зрозуміло, що це не так з продуктом. $\beta_1'=\beta_1+\beta_3$ $\beta_2'=\beta_2+\beta_3$

Нагадаємо визначення абсолютного значення:

| X - M | = {\begin{cases} X - M, & X \geq M \\ M - X, & X < M \end{cases}

$|X-M| = \begin{cases} X-M, & X \geq M\\ M-X, & X < M \end{cases}$

Хоча ви можете зменшити модель до тієї, що має лише і , використовуючи def. забсолютне значення - це "спеціалізована форма поміркованості, яка навряд чи реальна в багатьох ситуаціях", як зазначено в коментарі нижче. $\beta_0 + \beta_1X + \beta_2M + \beta_3|X-M| + e$ $X$ $M$ $|X-M|$

— Мілош
джерело

1

Власне, включаючиТермін - демонстративно форма модерації: значення змінюється . Однак це обмежена спеціалізована форма поміркованості, яка навряд чи реальна в багатьох ситуаціях. Неправильно сказати, що така модель має "лише основні наслідки".

| X - M |

$|X-M|$

M

$M$

β_{2}

$\beta_2$

— whuber

1

Так, ви праві,є формою поміркованості, я захопився трансформацією і відповідно відредагую відповідь. Дякуємо, що вказали на це.

| X - M |

$|X-M|$

— Мілош

@Milos: Ваш приклад щодо суми прогнозів був відкривачем очей, дещо бентежить, треба сказати, тому що я мав би вже усвідомити математичні наслідки;) whuber: Наскільки я зрозумів це, абсолютне значення корисне лише коли обидві змінні предиктора вимірюються в однакових одиницях (наприклад, два психометричні тести, використовуючи однакові показники, такі як z-бали або Т-бали). Абсолютна різниця між X і M є корисною метрикою, хоча не є єдиною можливою (тобто також може бути використаний термін продрозу).

— знаменник

6

Ви не знайдете формального доказу використання мультиплікативного модератора. Ви можете підтримати такий підхід іншими способами. Наприклад, подивіться на розширення функції Тейлора-Маклауріна функції : $f(X,M)$

f (X, M) = f (0, 0) + \frac{\partial f (0, 0)}{\partial T} T + \frac{\partial f (0, 0)}{\partial M} M + \frac{\partial^{2} f (0, 0)}{\partial T \partial M} T M + \frac{\partial^{2} f (0, 0)}{2 \partial T^{2}} T^{2} + \frac{\partial^{2} f (0, 0)}{2 \partial M^{2}} M^{2} \dots

$f(X,M)=f(0,0)+\frac{\partial f(0,0)}{\partial T} T+\frac{\partial f(0,0)}{\partial M} M+\frac{\partial^2 f(0,0)}{\partial T\partial M} TM +\frac{\partial^2 f(0,0)}{2\partial T^2} T^2 +\frac{\partial^2 f(0,0)}{2\partial M^2} M^2\dots$

Якщо ви підключите функцію такої форми в рівняння Тейлора, ви отримаєте це: $f(X,M)=\beta_0+\beta_XX+\beta_MM+\beta_{XM}XM$

f (X, M) = β_{0} + β_{X} X + β_{M} M + β_{X M} X M

$f(X,M)=\beta_0+\beta_XX +\beta_MM +\beta_{XM}XM$

Отже, обґрунтування полягає в тому, що ця конкретна мультиплікативна форма помірності є в основному наближенням Тейлора другого порядку до загального відношення модерації $f(X,M)$

ОНОВЛЕННЯ: якщо ви включите квадратичні терміни, як @whuber запропонував, це станеться: підключіть це до Тейлора:

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM+b_{X2}X^2 +b_{M2}M^2$

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM +b_{X2}X^2 +b_{M2}M^2$

Це показує, що наша нова модель з квадратичними членами відповідає наближенню Тейлора повного другого порядку на відміну від оригінальної моделі модерації . $g(X,M)$ $f(X,M)$

— Аксакал
джерело

Оскільки основою вашого аргументу є розширення Тейлора, чому ви також не включили два інші квадратичні доданки та ? Щоправда, вони не є формами модерації, але їх включення до моделі зазвичай вплине на .

X^{2}

$X^2$

M^{2}

$M^2$ $\beta_{XM}$

— whuber

@whuber, я вирішив залишити цю посаду короткою - ось головна причина. В іншому випадку я почав писати про свою перевагу включати умови другого порядку щоразу, коли у вас є перехресний термін, а потім вирізати його.

— Аксакал