Чому в лінійній регресії ми повинні включати квадратичні терміни, коли нас цікавлять лише терміни взаємодії?

Припустимо, мене цікавить модель лінійної регресії для , тому що я хотів би побачити, чи взаємодія між двома коваріатами впливає на Y.

У курсових записках професорів (з якими я не маю контактів) вказується: Якщо включати умови взаємодії, ви повинні включити їх умови другого ступеня. тобто повинні бути включені до регресії.

Чому слід включати терміни другого ступеня, коли нас цікавлять лише взаємодії?

Це залежить від мети умовиводу. Якщо ви хочете зробити висновок про те, чи існує взаємодія, наприклад, у причинному контексті (або, загалом, якщо ви хочете інтерпретувати коефіцієнт взаємодії), ця рекомендація вашого професора має сенс, і вона походить від факт, що неправильне визначення функціональної форми може призвести до неправильних умовиводів про взаємодію .

Ось простий приклад, коли в структурному рівнянні немає терміна взаємодії між та , але, якщо ви не включите квадратичний доданок , ви помилково зробите висновок, що взаємодіє з оскільки насправді це не так ' т.$x_1$$x_2$$y$$x_1$$x_1$$x_2$

set.seed(10)
n <- 1e3
x1 <- rnorm(n)
x2 <- x1 + rnorm(n)
y <- x1 + x2 + x1^2 + rnorm(n)
summary(lm(y ~ x1 + x2 + x1:x2))

Call:
lm(formula = y ~ x1 + x2 + x1:x2)

Residuals:
    Min      1Q  Median      3Q     Max 
-3.7781 -0.8326 -0.0806  0.7598  7.7929 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.30116    0.04813   6.257 5.81e-10 ***
x1           1.03142    0.05888  17.519  < 2e-16 ***
x2           1.01806    0.03971  25.638  < 2e-16 ***
x1:x2        0.63939    0.02390  26.757  < 2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.308 on 996 degrees of freedom
Multiple R-squared:  0.7935,    Adjusted R-squared:  0.7929 
F-statistic:  1276 on 3 and 996 DF,  p-value: < 2.2e-16

Це можна інтерпретувати як просто випадок упущеної змінної зміщення, і тут - це опущена змінна. Якщо ви повернетесь і включите у регресію квадратний термін, очевидна взаємодія зникає.$x_1^2$

summary(lm(y ~ x1 + x2 + x1:x2 + I(x1^2)))   

Call:
lm(formula = y ~ x1 + x2 + x1:x2 + I(x1^2))

Residuals:
    Min      1Q  Median      3Q     Max 
-3.4574 -0.7073  0.0228  0.6723  3.7135 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.0419958  0.0398423  -1.054    0.292    
x1           1.0296642  0.0458586  22.453   <2e-16 ***
x2           1.0017625  0.0309367  32.381   <2e-16 ***
I(x1^2)      1.0196002  0.0400940  25.430   <2e-16 ***
x1:x2       -0.0006889  0.0313045  -0.022    0.982    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.019 on 995 degrees of freedom
Multiple R-squared:  0.8748,    Adjusted R-squared:  0.8743 
F-statistic:  1739 on 4 and 995 DF,  p-value: < 2.2e-16

Звичайно, це міркування стосується не лише квадратичних термінів, але неправильного визначення функціональної форми загалом. Метою тут є моделювання функції умовного очікування відповідним чином для оцінки взаємодії. Якщо ви обмежуєте себе моделюванням за допомогою лінійної регресії, тоді вам потрібно буде включити ці нелінійні умови вручну. Але альтернативою є використання гнучкішого моделювання регресії, наприклад, регресія хребта ядра .

Дві моделі, які ви вказали у своїй відповіді, можна повторно висловити, щоб зрозуміти, як ефект постулюється залежно від (або навпаки) у кожній моделі.$X_1$$X_2$

Першу модель можна повторно виразити так:

що показує, що в цій моделі передбачається, що він має лінійний вплив на (керуючи ефектом ), але величина цього лінійного ефекту - захоплений коефіцієнтом нахилу - лінійно змінюється як функція . Наприклад, вплив на може збільшуватися по мірі збільшення значень .$X1$$Y$$X_2$$X_1$$X_2$$X_1$$Y$$X_2$

Другу модель можна повторно виразити так:

що показує, що в цій моделі вплив на (керуючи ефектом ) вважається квадратичним, а не лінійним. Цей квадратичний ефект фіксується, включаючи в модель як і . Хоча коефіцієнт вважається незалежним від , вважається , що коефіцієнт лінійно залежить від .$X_1$$Y$$X_2$$X_1$$X_1^2$$X_1^2$$X_2$$X_1$$X_2$

Використання будь-якої моделі означає, що ви робите абсолютно різні припущення щодо природи впливу на (контролюючи ефект ).$X_1$$Y$$X_2$

Зазвичай люди підходять до першої моделі. Потім вони можуть побудувати залишки цієї моделі проти та по черзі. Якщо залишки виявляють у залишках квадратичну картину як функцію та / або , модель може бути відповідно доповнена таким чином, щоб вона включала та / або (і, можливо, їх взаємодію).$X_1$$X_2$$X_1$$X_2$$X_1^2$$X_2^2$

Зауважте, що я спростив позначення, які ви використовували для послідовності, а також зробив явний термін помилки в обох моделях.