Як додавання ІІ IV може зробити ІV важливим?

У мене є те, що, ймовірно, просте питання, але це мене зараз бентежить, тому я сподіваюся, що ви можете мені допомогти.

У мене є модель регресії найменших квадратів, з однією незалежною змінною та однією залежною змінною. Відносини не суттєві. Тепер я додаю другу незалежну змінну. Тепер зв’язок між першою незалежною змінною та залежною змінною стає значущим.

Як це працює? Це, мабуть, демонструє якесь питання з моїм розумінням, але мені, але я не бачу, як додавання цієї другої незалежної змінної може зробити першу істотною.

Хоча колінеарність (змінних предикторів) є можливим поясненням, я хотів би припустити, що це не освітлююче пояснення, оскільки ми знаємо, що колінеарність пов'язана із "загальною інформацією" серед провісників, тому немає нічого загадкового чи контрінтуїтивного з боку ефект від введення у модель другого корельованого предиктора.

Давайте розглянемо випадок двох предикторів, які є справді ортогональними : між ними абсолютно немає колінеарності. Чудова зміна значущості все ж може відбутися.

Позначте змінні предиктора і і дозвольте назвати передбачення. Регресія відношенню до не буде значущою, коли коливання навколо її середнього не помітно зменшиться, коли використовується як незалежна змінна. Однак коли ця зміна сильно пов'язана з другою змінною , ситуація змінюється. Нагадаємо, що множинна регресія щодо та рівносильнаX 2 Y Y X 1 Y X 1 X 2 Y X 1 X $X_1$$X_2$$Y$$Y$$X_1$$Y$$X_1$$X_2$$Y$$X_1$$X_2$

1. Окремо регресуйте та проти .X 1 X $Y$$X_1$$X_2$

2. Регресуйте залишки проти залишків .X $Y$$X_1$

Залишки з першого кроку зняли ефект . Коли тісно корелює зX 2$X_2$$X_2$$Y$ , це може виявити порівняно невелику кількість варіацій, які раніше були замасковані. Якщо ця варіація пов'язана з , ми отримуємо значний результат.$X_1$

---

Все це, можливо, може бути прояснено конкретним прикладом. Для початку скористаємося Rдля генерації двох ортогональних незалежних змінних разом з деякою незалежною випадковою помилкою :$\varepsilon$

n <- 32
set.seed(182)
u <-matrix(rnorm(2*n), ncol=2)
u0 <- cbind(u[,1] - mean(u[,1]), u[,2] - mean(u[,2]))
x <- svd(u0)$u
eps <- rnorm(n)

( svdКрок запевняє, що два стовпці матриці x(що представляють і X 2 ) є ортогональними, виключаючи колінеарність як можливе пояснення будь-яких наступних результатів.)$X_1$$X_2$

Далі створіть як лінійну комбінацію X і помилки. Я скоригував коефіцієнти для отримання контрінтуїтивної поведінки:$Y$$X$

y <-  x %*% c(0.05, 1) + eps * 0.01

Це реалізація моделі з n = 32 випадками.$Y \sim_{iid} N(0.05 X_1 + 1.00 X_2, 0.01^2)$$n=32$

Подивіться на дві регресії, про які йдеться. По-перше , регресуйте проти X 1 :$Y$$X_1$

> summary(lm(y ~ x[,1]))
...
             Estimate Std. Error t value Pr(>|t|)
(Intercept) -0.002576   0.032423  -0.079    0.937
x[, 1]       0.068950   0.183410   0.376    0.710

Високе значення p 0,710 показує, що абсолютно несуттєво.$X_1$

Далі , регресуйте проти X 1 і X 2 :$Y$$X_1$$X_2$

> summary(lm(y ~ x))
...
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.002576   0.001678  -1.535    0.136    
x1           0.068950   0.009490   7.265 5.32e-08 ***
x2           1.003276   0.009490 105.718  < 2e-16 ***

Несподівано, в присутності , X 1 є сильно значним, як показано р-значень поблизу нуля для обох змінних.$X_2$$X_1$

Ми можемо візуалізувати цю поведінку за допомогою матриці розсіювання змінних , X 2 та Y разом із залишками, що використовуються в двоступеневій характеристиці множинної регресії вище. Оскільки X 1 і X 2 є ортогональними, залишки X 1 будуть такими ж, як X 1, і тому їх не потрібно переробляти. Ми включимо залишки Y проти X 2 в матрицю розсіювання, даючи цю цифру:$X_1$$X_2$$Y$$X_1$$X_2$$X_1$$X_1$$Y$$X_2$

lmy <- lm(y ~ x[,2])
d <- data.frame(X1=x[,1], X2=x[,2], Y=y, RY=residuals(lmy))
plot(d)

Ось його рендерінг (з невеликим попередженням):

Ця матриця графіки має чотири рядки та чотири стовпчики, які я буду рахувати зверху та зліва направо.

Зверніть увагу:

• Розсіяння у другому ряді та першому стовпчику підтверджує ортогональність цих предикторів: найменша лінія квадратів є горизонтальною, а кореляція дорівнює нулю.$(X_1, X_2)$

• Розсіювач у третьому ряду та першому стовпчику демонструє незначну, але абсолютно незначну залежність, про яку повідомляє перша регресія Y проти X 1 . (Коефіцієнт кореляції, ρ , становить лише 0,07 ).$(X_1, Y)$$Y$$X_1$$\rho$$0.07$

• Розсіювач у третьому ряду та другому стовпці показує сильну залежність між Y та другою незалежною змінною. (Коефіцієнт кореляції 0,996 ).$(X_2, Y)$$Y$$0.996$

• Четвертий рядок досліджує відносини між залишками з (регресувати проти X 2 ) та інших змінних:$Y$$X_2$

  • Вертикальна шкала показує, що залишки (відносно) досить малі: ми не могли легко побачити їх у розкиданні проти X 2 .$Y$$X_2$

  • Залишки будуть сильно корелювати з ( р = 0,80 ). Регресія проти X 2 розкрила цю раніше приховану поведінку.$X_1$$\rho = 0.80$$X_2$

  • За побудовою немає залишкової кореляції між залишками та .$X_2$

  • Між та цими залишками існує невелика кореляція ( ρ = 0,09 ). Це показує, як залишки можуть поводитися зовсім інакше, ніж сам Y. Саме тому X 1 може раптом виявитись як значний фактор, що сприяє регресуванню.$Y$$\rho = 0.09$$Y$$X_1$

Нарешті, варто зазначити, що дві оцінки коефіцієнта (обидва рівні 0,06895 , недалеко від запланованого значення 0,05 ) узгоджуються лише тому, що X 1 і X 2 є ортогональними. За винятком розроблених експериментів, ортогональність рідко дотримується точно. Відхід від ортогональності зазвичай призводить до зміни оцінок коефіцієнта.$X_1$$0.06895$$0.05$$X_1$$X_2$

Я думаю, що це питання було обговорено раніше на цьому сайті досить ретельно, якщо ви просто знали, де шукати. Тому я, мабуть, пізніше додаю коментар із посиланнями на інші запитання, або можу відредагувати це, щоб надати більш повне пояснення, якщо я не можу його знайти.

Є дві основні можливості: По-перше, інший IV може поглинати частину залишкової мінливості і, таким чином, збільшувати потужність статистичного тесту початкового IV. Друга можливість полягає в тому, що у вас є супресорна змінна. Це дуже контр-інтуїтивна тема, але ви можете знайти трохи інформації тут *, тут чи цю відмінну тему резюме .

_{* Зауважте, що вам потрібно прочитати весь шлях до низу, щоб дістатись до тієї частини, яка пояснює змінні супресора, ви можете просто пропустити туди, але вам найкраще послужить, прочитавши всю справу.}

---

Редагувати: як було обіцяно, я додаю більш повне пояснення моєї точки зору, як інший IV може поглинати частину залишкової мінливості і, таким чином, збільшуючи потужність статистичного тесту початкового IV. @whuber додав вражаючий приклад, але я подумав, що можу додати безкоштовний приклад, який пояснює це явище по-іншому, що може допомогти деяким людям зрозуміти це явище чіткіше. Крім того, я демонструю, що другий ІV не повинен бути сильніше асоційований (хоча на практиці це майже завжди буде мати місце).

$t$$F$$t$

$$\begin{array}{lllll} &\text{Source} &\text{SS} &\text{df} &\text{MS} &\text{F} \\ \hline &x_1 &\sum(\hat y_i-\bar y)^2 &1 &\frac{\text{SS}_{x_1}}{\text{df}_{x_1}} &\frac{\text{MS}_{x_1}}{\text{MS}_{\rm res}} \\ &\text{Residual} &\sum(y_i-\hat y_i)^2 &N-(1+1) &\frac{\text{SS}_{\rm res}}{\text{df}_{\rm res}} \\ &\text{Total} &\sum(y_i-\bar y)^2 &N-1 \end{array}$$

$\bar y$$y$$y_i$$y$$i$$\hat y_i$$i$$N$

$$\begin{array}{lllll} &\text{Source} &\text{SS} &\text{df} &\text{MS} &\text{F} \\ \hline &x_1 &\sum(\hat y_{x_{1i}\bar x_2}-\bar y)^2 &1 &\frac{\text{SS}_{x_1}}{\text{df}_{x_1}} &\frac{\text{MS}_{x_1}}{\text{MS}_{\rm res}} \\ &x_2 &\sum(\hat y_{\bar x_1x_{2i}}-\bar y)^2 &1 &\frac{\text{SS}_{x_2}}{\text{df}_{x_2}} &\frac{\text{MS}_{x_2}}{\text{MS}_{\rm res}} \\ &\text{Residual} &\sum(y_i-\hat y_i)^2 &N-(2+1) &\frac{\text{SS}_{\rm res}}{\text{df}_{\rm res}} \\ &\text{Total} &\sum(y_i-\bar y)^2 &N-1 \end{array}$$

$\hat y_{x_{1i}\bar x_2}$$i$$x_1$$x_2$$x_2$$\bar x_2$ $x_2$для деяких спостережень, у цьому випадку ніяких коригувань не слід вносити, але це зазвичай не так. Зауважте, що цей метод створення таблиці ANOVA дійсний лише в тому випадку, якщо всі змінні є ортогональними; це дуже спрощений випадок, створений для експозиційних цілей.

$x_2$$y$$\bar y$$x_1$$x_2$$SS_{x_1}$$x_2$$SS_{x_1}$$SS_\text{res}$$\text{df}_{x_2}$$\text{df}_\text{res}$

$F$$x_1$$MS_{x_1}$$MS_\text{res}$$MS_{x_1}$$MS_\text{res}$$x_2$$x_2$$F$$t$$x_2$$x_2$$MS_\text{res}$$F$$x_1$$p$

$x_2$$x_1$$p$$p$R

x1 = rep(1:3, times=15)
x2 = rep(1:3, each=15)
cor(x1, x2)     # [1] 0
set.seed(11628)
y       = 0 + 0.3*x1 + 0.3*x2 + rnorm(45, mean=0, sd=1)
model1  = lm(y~x1)
model12 = lm(y~x1+x2)

anova(model1)
#  ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  5.314  5.3136  3.9568 0.05307 .
# Residuals 43 57.745  1.3429                  
#  ...
anova(model12)
#  ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  5.314  5.3136  4.2471 0.04555 *
# x2         1  5.198  5.1979  4.1546 0.04785 *
# Residuals 42 52.547  1.2511                  
#  ...

$x_2$

set.seed(1201)
y       = 0 + 0.3*x1 + 0.3*x2 + rnorm(45, mean=0, sd=1)
anova(model1)
# ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  3.631  3.6310  3.8461 0.05636 .
# ...
anova(model12)
# ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  3.631  3.6310  4.0740 0.04996 *
# x2         1  3.162  3.1620  3.5478 0.06656 .
# ...

Це, правда, нічого подібного до драматичного прикладу в посту @ whuber, але вони можуть допомогти людям зрозуміти, що тут відбувається.

Схоже, що питання ОП можна інтерпретувати двома різними способами:

1. Математично, як працює OLS, завдяки чому додавання незалежної змінної може несподівано змінити результати?

2. Як можна змінити модель, додавши одну змінну, змінити дію іншої незалежної змінної в моделі?

На питання №1 вже є кілька хороших відповідей. І питання №2 може бути настільки очевидним для експертів, що вони припускають, що ОП має натомість задавати питання №1. Але я вважаю, що питання №2 заслуговує на відповідь, яка могла б бути на зразок:

Почнемо з прикладу. Скажіть, що у вас були висоти, вік, стать тощо для кількох дітей, і ви хотіли зробити регрес, щоб передбачити їхній зріст.

Ви починаєте з наївної моделі, яка використовує гендер як незалежну змінну. І це не є статистично значущим. (Як це могло бути, ви змішуєте 3-річних дітей та підлітків-агерів.)

Потім ви додаєте у віці, і раптом не тільки вік є значущим, але і статтю. Як це могло бути?

Звичайно, на моєму прикладі ви чітко бачите, що вік є важливим фактором росту дитини / підлітка. Мабуть, найважливіший фактор, про який у вас є дані. Стать також може мати значення, особливо для дітей старшого віку та дорослих, але одна лише стать - це погана модель того, наскільки висока дитина.

Вік плюс стать - це розумна (хоча, звичайно, спрощена) модель, яка відповідає адекватним завданням. Якщо ви додасте інші дані - взаємодію віку та статі, дієти, зросту батьків тощо, ви можете зробити ще кращу модель, яка, звичайно, все ж спроститься порівняно з безліччю факторів, які фактично визначають ріст дитини, але знову ж таки всі моделі - це спрощені версії реальності. (Карта світу, що має масштаб 1: 1, не дуже корисна для мандрівника.)

Ваша оригінальна модель (лише для статі) занадто спрощена - настільки спрощена, що вона по суті зламана. Але це не означає, що гендер не корисний у кращій моделі.

EDIT: додано пропозицію Гунга щодо: терміну взаємодії віку та статі.

У цій темі вже є три відмінних відповіді (+1 до кожного). Моя відповідь - це розширений коментар та ілюстрація до моменту, зробленого @gung (що знадобило мені трохи часу, щоб зрозуміти):

Є дві основні можливості: По-перше, інший IV може поглинати частину залишкової мінливості і, таким чином, збільшувати потужність статистичного тесту початкового IV. Друга можливість полягає в тому, що у вас є супресорна змінна.

$x_1$$x_2$$y$$n$$\mathbb R^n$$\mathbf y$$\mathbf x_1$$\mathbf x_2$(при цьому "матриця капелюхів" просто є проектором). Читачі, незнайомі з таким підходом, можуть ознайомитись, наприклад, у розділі «Елементи статистичного навчання» , розділ 3.2, або в багатьох інших книгах.

"Покращення"

На наступному малюнку показані обидві можливості, перелічені @gung. Спочатку розгляньте лише синю частину (тобто ігноруйте всі червоні лінії):

$\mathbf x_1$$\mathbf x_2$$X$$\mathbf y$$\hat y$

$\mathbf x_2$$\mathbf y$$\mathbf x_1$$\alpha$$90^\circ$$y$$x_1$$x_1$

$x_2$$\mathbf x_1$$\mathbf x_2$$x_1$$x_2$$x_2$$y$$\beta$$\alpha$$90^\circ$$x_1$

Інший спосіб сказати, що тест тепер порівнює довжину OF з OG, а не з OC, як раніше; OF є мініатюрним і "незначним" порівняно з OC, але досить великим, щоб бути "значущим" порівняно з OG.

Це саме ситуація представлена @whuber, @gung і @Wayne в своїх відповідях. Я не знаю, чи має цей ефект стандартну назву в регресійній літературі, тому я назву це "посилення".

Придушення

$\alpha=90^\circ$$\beta=90^\circ$$x_1$

Не так у придушенні.

$x_3$$x_1$$x_2$$\mathbf x_3$$X$$\mathbf x_1$$x_3$$x_1$$X$$\mathbf y$

$x_1$$x_1$$y$