Що означає "всі інші рівні" при множинній регресії?

Коли ми робимо кілька регресій і кажемо, що ми дивимось на середню зміну змінної $y$ для зміни змінної $x$ , тримаючи всі інші змінні постійними, за яких значень ми тримаємо інші змінні постійними? Їхнє значення? Нуль? Будь-яке значення?

Я схильний думати, що це має будь-яку цінність; просто шукаю роз'яснення. Якби хтось мав доказ, це теж було б чудово.

— EconStats
джерело

Я знайшов приклад 10 у статті Пітера Кеннеді дуже корисним для розуміння цього.

— Мастеров Дмитро Васильович

Так, дещо про збільшення кількості кімнат при збереженні постійних квадратних футів є дійсно спостережливим моментом. Цей документ є дійсно золотим копальником корисних ідей, він йдеться в доповідях доктора наук.

— EconStats

Це насправді дуже цікаве запитання, мені цікаво, чи економісти запитують себе, що саме означає "Ceteris paribus".

— mugen

Ти правий. Технічно це будь-яка цінність . Однак, коли я навчаю це, я зазвичай кажу людям, що ви отримуєте ефект зміни однієї одиниці на коли всі інші змінні утримуються відповідними засобами. Я вважаю, що це звичайний спосіб пояснити це, що не є для мене специфічним. $X_j$

Зазвичай я зазначу, що якщо у вас немає ніяких взаємодій, буде наслідком зміни однієї одиниці на , незалежно від значень інших змінних. Але мені подобається починати із середньої рецептури. Причина полягає в тому, що є два ефекти включення декількох змінних у регресійну модель. По-перше, ви отримуєте ефект управління для інших змінних (див. Мою відповідь тут ). Друга полягає в тому, що наявність інших змінних (як правило) зменшує залишкову дисперсію моделі, роблячи ваші змінні (включаючи $\beta_j$ $X_j$ $X_j$ $X_j$ ) 'більш значущий'. Людям важко зрозуміти, як це працює, якщо інші змінні мають значення, які є повсюдно. Схоже, це міг би якось збільшити мінливість. Якщо ви думаєте коригувати кожну точку даних вгору або вниз для значення кожної іншої змінної, поки всі інші змінні не будуть переміщені до відповідних засобів, то легше помітити, що залишкова змінність була зменшена. $X$

Я не дістаюсь до взаємодії, поки клас чи два після того, як я представив основи множинної регресії. Однак, коли я дістаюсь до них, я повертаюся до цього матеріалу. Вище , застосовується , коли НЕ взаємодія. Коли є взаємодії, це складніше. У цьому випадку взаємодіюча змінна [s] утримується постійною (дуже конкретно) при , і не має іншого значення. $0$

Якщо ви хочете побачити, як це алгебраїчно відображається, це досить прямо. Ми можемо почати із випадку без взаємодії. Визначимо зміну , коли всі інші змінні залишаються постійними на їх відповідних коштів. Без обмеження спільності, припустимо , що є три змінні , і ми зацікавлені в тому розумінні , як зміна пов'язано зі зміною в один блок в , тримаючи і константи в їх відповідних коштів: $\hat Y$ $X$ $\hat Y$ $X_3$ $X_1$ $X_2$

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3 \end{align}$

Now it is obvious that we could have put any value in for $X_1$ and $X_2$ in the first two equations, so long as we put the same value for $X_1$ ( $X_2$ ) in both of them. That is, so long as we are holding $X_1$ and $X_2$ constant.

On the other hand, it does not work out this way if you have an interaction. Here I show the case where there is an $X_1X_3$ interaction term:

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) + {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) - {\hat{β}}_{3} X_{3 i} + \\ {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 i} + 1) - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} + {\hat{β}}_{4} {\bar{X}}_{1} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \quad\quad\ \! + \hat\beta_4\bar X_1X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) + \hat\beta_4\bar X_1(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} + \\ &\quad\ \hat\beta_4\bar X_1(X_{3i}\!+\!1) - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} + \hat\beta_4\bar X_1 X_{3i} + \hat\beta_4\bar X_1 - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3 + \hat\beta_4\bar X_1 \end{align}$

In this case, it is not possible to hold all else constant. Because the interaction term is a function of $X_1$ and $X_3$ , it is not possible to change $X_3$ without the interaction term changing as well. Thus, $\hat\beta_3$ equals the change in $\hat Y$ associated with a one unit change in $X_3$ only when the interacting variable ( $X_1$ ) is held at $0$ instead of $\bar X_1$ (or any other value but $0$ ), in which case the last term in the bottom equation drops out.

In this discussion, I have focused on interactions, but more generally, the issue is when there is any variable that is a function of another such that it is not possible to change the value of the first without changing the respective value of the other variable. In such cases, the meaning of $\hat\beta_j$ becomes more complicated. For example, if you had a model with $X_j$ and $X_j^2$ , then $\hat\beta_j$ is the derivative $\frac{dY}{dX_j}$ holding all else equal, and holding $X_j=0$ (see my answer here). Other, still more complicated formulations are possible as well.

— gung - Reinstate Monica
джерело

Thanks gung, this answer is great on a couple of levels. Firstly it answers the main point I was interested in. Secondly, you predicted what my follow up question would be, because I was going to ask how this changed with the introduction of interaction terms. Thanks for the math as well. I know this question is kind of basic but I feel that you can never be too explicit with these concepts.

— EconStats

You're welcome, @EconStats. There is no problem with including the math, sometimes it makes it much easier to understand what is going on.

— gung - Reinstate Monica

Well I have to say that when you subtracted the first equation from the second equation it finally confirmed my original thoughts that it doesn't matter what the values of

X_{2}

$X_2$ and

X_{3}

$X_3$ are, as long as the are the same in both equations. It seems so obvious to me know but I had never thought about calculating the

β

$\beta$ that way before. Definite light bulb moment for me.

— EconStats

You can also take the derivative of

Y

$Y$ wrt

X_{j}

$X_j$ and it will get you to the same place, but this is easier math (essentially high-school algebra), so it will be accessible to a broader audience.

— gung - Reinstate Monica

@beetroot, if I understand you correctly, you just hold it at a specified level. (Otherwise, you might ask this as a new question.)

— gung - Reinstate Monica

The math is simple, just take the difference between 2 models with one of the x variables changed by 1 and you will see that it does not matter what the other variables are (given there are no interactions, polynomial, or other complicating terms).

One example:

$y_{[1]} = b_0 + b_1 \times x_1 + b_2 \times x_2$

$y_{[2]} = b_0 + b_1 \times (x_1 + 1) + b_2 \times x_2$

$y_{[2]} - y_{[1]} = b_0 - b_0 + b_1\times x_1 - b_1\times x_1 + b_1 \times 1 + b_2 \times x_2 - b_2 \times x_2 = b_1$

— Greg Snow
джерело

I believe you are referring to dependence in covariates ( $X_i$ ). So if the model is

Y = β_{0} + β_{1} X_{1} + β_{2} X_{2}

$Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2$ the effect of

X_{i}

$X_i$ on

Y

$Y$ all other things being equal would be

\frac{Δ Y}{Δ X_{i}}

$\frac{\Delta{Y}}{\Delta{X_i}}$ for any

Δ X_{i}

$\Delta{X_i}$ with all other

X_{j}

$X_j$ held constant at any value.

Keep in mind that is possible that $X_1$ and $X_2$ are dependent (e.g. functions of each other) without necessarily showing a significant interaction in the linear model ( $\beta_{12}=0$ in $Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2+\beta_{12}X_1X_2$ ).

Just as an interesting tangent here is an example: Let $X_1\sim N(0,\sigma_1^2)$ and $X_2=X_1^{2}+N(0,\sigma_2^2)$ then clearly any change in $X_1$ will affect $X_2$ . However the covariance between the two is zero.

c o v (X_{1}, X_{2}) = E (X_{1} X_{2}) - E (X_{1}) E (X_{2})

$cov(X_1,X_2)=E(X_1X_2)-E(X_1)E(X_2)$

= E [X_{1} (X_{1}^{2} + a)] - E (X_{1}) . E (X_{1}^{2} - a) w i t h a \sim N (0, σ_{2}^{2})

$=E[X_1(X_1^2+a)]-E(X_1).E(X_1^2-a)\,with\,a\sim N(0,\sigma_2^2)$

= E (X_{1}^{3}) - E (X_{1} . a) - 0. E (X_{1}^{2} - a) = 0 - 0 - 0 = 0

$=E(X_1^3)-E(X_1.a)-0.E(X_1^2-a)=0-0-0=0$

So in reality a change in $X_1$ would be associated with a change in $X_2$ and that $\frac{\Delta{Y}}{\Delta{X_i}}$ would not cover what really would occur if you alter $X_1$ . But $\frac{\Delta{Y}}{\Delta{X_i}}$ would still be described as the effect of $X_i$ on $Y$ all things being equal.

This is comparable to the difference between a full derivative and a partial derivate (the analog of $\frac{\Delta{Y}}{\Delta{X_i}}$ ) in a differential equation.

— Hans Roggeman
джерело

Thanks Hans, I was actually trying to get at the point that gung made but this is a good example for when the two variables are dependent.

— EconStats