Чи додає більше змінних до багатовимірної регресії зміни коефіцієнтів існуючих змінних?

Скажімо, у мене є багатовимірна (кілька незалежних змінних) регресії, яка складається з 3 змінних. Кожна з цих змінних має заданий коефіцієнт. Якщо я вирішу ввести 4-ту змінну і повторити регресію, чи зміняться коефіцієнти трьох вихідних змінних?

Більш широко: в регресії багатовимірної (декількох незалежних змінних) коефіцієнт даної змінної впливає на коефіцієнт іншої змінної?

regression multiple-regression multivariable

— Лукаш Плева
джерело

Будь ласка, відредагуйте питання, щоб бути більш точним. Ви multivariableмаєте на увазі безліч незалежних змінних ("множинна регресія") або декілька залежних змінних ("багатоваріантна регресія" або "MAN (C) OVA")?

— ttnphns

Якби відповідь була ні, в першу чергу не було б необхідності робити багатовимірну регресію! (ми могли просто зробити багато

— незмінних

Це проникливий момент, @ user603, але я думаю, що все-таки може бути місце для багаторазової регресії, оскільки, якщо інші змінні були значимо пов'язані з відповіддю (хоч і не пояснювальною змінною), вони можуть зменшити залишкову дисперсію, що призведе до покращення потужність і точність.

— gung - Відновіть Моніку

Відповіді:

Оцінка параметрів у регресійній моделі ) зміниться , якщо змінні, , додаються до моделі , яка є: $\hat\beta_i$ $X_j$

співвідноситься з відповідною змінною цього параметра, (яка вже була в моделі) та $X_i$
корелює зі змінною відповіді, $Y$

Орієнтовна бета-версія не зміниться, коли буде додана нова змінна, якщо будь-яке з перерахованих вище є некорельованим. Зауважимо, що вони не співвідносяться у сукупності (тобто , або ) не має значення. Важливо те, що обидві кореляції вибірки є рівно $\rho_{(X_i, X_j)}=0$ $\rho_{(X_j, Y)}=0$ $0$ . Насправді це ніколи не буде на практиці, якщо ви не працюєте з експериментальними даними, де змінні були маніпульовані таким чином, що вони не співвідносяться між собою по дизайну.

Зауважте також, що кількість змін параметрів може бути не дуже важливою (що залежить, принаймні частково, від вашої теорії). Більше того, величина, яку вони можуть змінювати, є функцією величин двох вищезгаданих кореляцій.

З іншого боку, не дуже коректно вважати це явище як "коефіцієнт даної змінної [на що] впливає коефіцієнт іншої змінної". Не бета впливає один на одного. Це явище є природним результатом алгоритму, який статистичне програмне забезпечення використовує для оцінки параметрів нахилу. Уявіть ситуацію, коли викликається і і , які в свою чергу співвідносяться між собою. Якщо в моделі є лише , деякі зміни , пов'язані з будуть недоцільно віднесені до $Y$ $X_i$ $X_j$ $X_i$ $Y$ $X_j$ $X_i$ . Це означає, що значення є упередженим; це називається опущеною зміною зміщення . $X_i$

— gung - Відновити Моніку
джерело

Дуже гарно в цьому останньому реченні.

— Glen_b -Встановити Моніку

Я обговорюю зворотний бік цього питання у своїй відповіді тут: Оцінка

замість

b_{1} x_{1} + b_{2} x_{2}

$b_1x_1+b_2x_2$

b_{1} x_{1} + b_{2} x_{2} + b_{3} x_{3}

$b_1x_1+b_2x_2+b_3x_3$ .

— gung - Відновити Моніку

y

$y$

x 2

$x2$

x 1

$x1$

y

$y$

x 1

$x1$

x 1

$x1$

y

$y$

Y

$Y$

s_{1}

$s_1$

@gung дякую за відповідь. Чи знаєте ви спосіб створення таких ідеальних даних? я знаю, що в реальному житті не може статися

— floyd

Математично можливо, що коефіцієнти не зміняться, але навряд чи зміни дійсних взагалі не відбудуться, навіть якщо всі незалежні змінні не залежать одна від одної. Але, коли це так, зміни (крім перехоплення), як правило, становлять 0:

set.seed(129231)
x1 <- rnorm(100)
x2 <- rnorm(100)
x3 <- rnorm(100)
x4 <- rnorm(100)
y <- x1 + x2 + x3 + x4 + rnorm(100, 0, .2)
lm1 <- lm(y~x1+x2+x3)
coef(lm1)
lm2 <- lm(y~x1+x2+x3+x4)
coef(lm2)

У реальному світі, однак, незалежні змінні часто пов'язані між собою. У цьому випадку додавання 4-ї змінної до рівняння змінить інші коефіцієнти, іноді на багато.

Тоді можливі взаємодії .... але це вже інше питання.

— Пітер Флом - Відновити Моніку
джерело

Взагалі кажучи, так, додавання змінної майже завжди змінює попередні коефіцієнти.

Дійсно, це по суті є причиною парадоксу Сімпсона , коли коефіцієнти можуть змінюватися, навіть зворотним знаком, через опущені коваріати.

Щоб цього не сталося, нам знадобиться, щоб нові змінні були ортогональними попереднім. Це часто трапляється в розроблених експериментах, але малоймовірно, що це трапиться в даних, коли модель незалежних змінних не планується.

— Glen_b -Встановити Моніку
джерело