Що відбувається, коли я включаю змінну у квадрат у свою регресію?

Я починаю з моєї регресії OLS: де D - фіктивна змінна, оцінки стають різними від нуля з низьким р-значенням. Потім я заздалегідь підготую тест Рамзі RESET і виявляю, що у мене є деяка помилка рівняння, я таким чином включаю квадрат x:

y = β_{0} + β_{1} x_{1} + β_{2} D + ε

$y = \beta _0 + \beta_1x_1+\beta_2 D + \varepsilon$

y = β_{0} + β_{1} x_{1} + β_{2} x_{1}^{2} + β_{3} D + ε

$y = \beta _0 + \beta_1x_1+\beta_2x_1^2+\beta_3 D + \varepsilon$

Що пояснює квадратний термін? (Нелінійне збільшення Y?)
Виконуючи це, моя оцінка D більше не змінюється від нуля, з високим р-значенням. Як я інтерпретую квадратний термін у моєму рівнянні (загалом)?

Редагувати: поліпшення питання.

— сейни
джерело

можливий дублікат Чому зміни ANOVA / Регресія змінюються при контролі за іншою змінною

— Макрос

Ймовірна причина:

здається, пояснюють однакову мінливість у

x_{1}^{2}

$x_{1}^2$

D

$D$

y

$y$

— стійкої риби

Одне, що може допомогти, - це зосереджувати

перед створенням терміна у квадраті (див. Тут ). Щодо інтерпретації вашого квадратного терміна, я стверджую, що найкраще інтерпретувати

в цілому (див. Тут ). Інша справа, що вам можуть знадобитися взаємодію, що означає додавання

x

$x$

β_{1} x_{1} + β_{2} x_{1}^{2}

$\beta_1x_1+\beta_2x_1^2$

β_{4} x_{1} D + β_{5} x_{1}^{2} D

$\beta_4x_1D+\beta_5x_1^2D$

— gung - Відновити Моніку

Я не думаю, що це насправді дублікат цього питання; рішення інше (змінні центрування працюють тут, але не там, якщо я не помиляюся)

— Пітер Флом - Відновити Моніку

@Peter, я трактую це питання як підмножину "Чому так, що коли я додаю змінну до моєї моделі, оцінка ефекту /

значення для деяких інших змінних змін?", Яке розглядається в іншому запитанні. Серед відповідей на це питання - колінеарність (на яку натякає Гунг у своїй відповіді на це запитання) / зміст дублювання між предикторами (тобто між

, що, як я підозрюю, є винуватцем цього випадку) . Тут діє та сама логіка. Я не впевнений, що таке суперечка, але це добре, якщо ви та інші не погоджуєтесь. Ура.

p

$p$

D

$D$

(x_{1}, x_{1}^{2})

$(x_1,x_1^2)$

— Макрос

Відповіді:

Ну, по-перше, фіктивна змінна інтерпретується як зміна перехоплення. Тобто ваш коефіцієнт дає вам різницю перехоплення, коли , тобто коли , перехоплення становить . Ця інтерпретація не змінюється при додаванні квадрата . $\beta_3$ $D=1$ $D=1$ $\beta_0 + \beta_3$ $x_1$

Тепер сенс додавання квадрата до ряду полягає в тому, що ви припускаєте, що відносини зникають у певний момент. Дивлячись на ваше друге рівняння

y = β_{0} + β_{1} x_{1} + β_{2} x_{1}^{2} + β_{3} D + ε

$y = \beta _0 + \beta_1x_1+\beta_2x_1^2+\beta_3 D + \varepsilon$

Беручи похідне wrt $x_1$

\frac{δ y}{δ x_{1}} = β_{1} + 2 β_{2} x_{1}

$\frac{\delta y}{\delta x_1} = \beta_1 + 2\beta_2 x_1$

Solving this equation gives you the turning point of the relationship. As user1493368 explained, this is indeed reflecting an inverse U-shape if $\beta_1<0$ and vice versa. Take the following example:

\hat{y} = 1.3 + 0.42 x_{1} - 0.32 x_{1}^{2} + 0.14 D

$\hat{y} = 1.3 + 0.42 x_1 - 0.32 x_1^2 + 0.14D$

The derivative w.r.t. $x_1$ is

\frac{δ y}{δ x_{1}} = 0.42 - 2 * 0.32 x_{1}

$\frac{\delta y}{\delta x_1} = 0.42 - 2*0.32 x_1$

Solving for $x_1$ gives you

\frac{δ y}{δ x_{1}} = 0 ⟺ x_{1} \approx 0.66

$\frac{\delta y}{\delta x_1} = 0 \iff x_1 \approx 0.66$

That is the point at which the relationship has its turning point. You can take a look at Wolfram-Alpha's output for the above function, for some visualization of your problem.

Remember, when interpreting the ceteris paribus effect of a change in $x_1$ on $y$ , you have to look at the equation:

Δ y = (β_{1} + 2 β_{2} x_{1}) Δ x

$\Delta y = (\beta_1 + 2\beta_2x_1)\Delta x$

That is, you can not interpret $\beta_1$ in isolation, once you added the squared regressor $x_1^2$ !

Regarding your insignificant $D$ after including the squared $x_1$ , it points towards misspecification bias.

— altabq
джерело

Hi. If you had several predictors should you use partial derivatives or total derivatives (diferentials)?

— skan

A partial derivative is still the right way to go here. The interpretation of all coefficients is ceteris paribus, i.e., holding everything else constant. That's exactly what you are doing when you take a partial derivative.

— altabq

See this UCLA IDRE page to complement @altabq's great answer.

— Cyrille

A good example of including square of variable comes from labor economics. If you assume y as wage (or log of wage) and x as an age, then including x^2 means that you are testing the quadratic relationship between an age and wage earning. Wage increases with the age as people become more experienced but at the higher age, wage starts to increase at decreasing rate (people becomes older and they will not be so healthy to work as before) and at some point the wage doesn't grow (reaches the optimal wage level) and then starts to fall (they retire and their earnings starts to decrease). So, the relationship between wage and age is inverted U-shaped (life cycle effect). In general, for the example mentioned here, the coefficient on age is expected to be positive and than on age^2 to be negative.The point here is that there should be theoretical basis /empirical justification for including the square of the variable. The dummy variable, here, can be thought of as representing gender of the worker. You can also include interaction term of gender and age to examine the whether the gender differential varies by age.

— Metrics
джерело