відношення між простої регресії та множинною регресією

10

Дуже основне питання, що стосується регресій OLS $R^2$

запустіть регресію OLS y ~ x1, маємо , скажімо, 0,3 $R^2$
запустіть регресію OLS y ~ x2, у нас є інший , скажімо, 0,4 $R^2$
тепер ми запускаємо регресію y ~ x1 + x2, яким значенням може бути R квадрату регресії?

Я думаю, що зрозуміло, що для множинної регресії має бути не менше 0,4, але чи можливо це більше 0,7? $R^2$

— Олів'є Ма
джерело

2

Підказка: Це може бути до 1,0. Чому? (Подумайте геометрично. Або, навіть конкретно, про одиничне коло.)

— кардинал

stats.stackexchange.com/questions/351200/…

— StubbornAtom

4

Другий регресор може просто компенсувати те, що першому не вдалося пояснити у залежній змінній. Ось чисельний приклад:

Створіть x1як стандартний нормальний регресор, розмір вибірки 20. Без втрати загальності візьміть , де також . Тепер візьміть другий регресор як просто різницю між залежною змінною та першим регресором. $y_i=0.5x_{1i}+u_i$ $u_i$ $N(0,1)$ x2

n <- 20 
x1 <- rnorm(n)

y <- .5*x1 + rnorm(n)

x2 <- y - x1
summary(lm(y~x1))$r.squared
summary(lm(y~x2))$r.squared
summary(lm(y~x1+x2))$r.squared

— Крістоф Ганк
джерело

Дякую! У мене було неправильне розуміння r квадрата. Я думав, що якщо x1 + x2 = yтоді summary(lm(y~x1))$r.squared + summary(lm(y~x2))$r.squaredмає бути не менше 1., але явно помиляюся ..

— Олів'є Ма

3

Крім нижньої межі, яка становить 0,3 або 0,4, залежно від того, яка змінна спочатку входить до моделі, можна сказати не так багато. Скільки зростає багато в чому залежить від інформації, яку друга модель вводить у модель. Під інформацією ми, звичайно, маємо на увазі пояснену варіацію відповіді. $R^2$

Є одна концепція, яка є критичною у цьому плані, і це співвідношення між прогнозами. Якщо кореляція велика, нова змінна не тільки не принесе нічого до моделі, але й ускладнить висновок для існуючих змінних, оскільки оцінки стануть неточними (мультиколінеарність). З цієї причини ми б вважали за краще, щоб нова змінна була ортогональною для інших. Шанси невеликі, щоб це відбулося в спостережних дослідженнях, але це може бути здійснено в контрольованих умовах, наприклад, коли ви будуєте власний експеримент.

Але як ви точно визначите нову інформацію, яку змінна внесе до моделі? Один широко використовуваний показник , який приймає все це до уваги , є частковим . Якщо ви знайомі з ANOVA лінійної моделі, це не що інше, як пропорційне зменшення суми помилок квадратів, яке ви досягнете, включивши цю змінну у вашу модель. Високі відсотки бажані, тоді як низькі, ймовірно, змусять задуматися, чи це правильний шлях дії. $R^2$

Отже, як @cardinal зазначав у коментарях, ваш новий коефіцієнт визначення може бути рівним 1. Він також може становити 0,400001. Немає способу сказати без додаткової інформації.

— ДжонК
джерело

@JohnK, чи не заперечуєте ви далі пояснити, чому це потрібно СТРУКТУРНО більше, ніж 0,4? Чи допомогла б тут геометрична інтерпретація регресії?

— Днайел

@Dnaiel Коефіцієнт визначення не зменшується щодо кількості змінних у моделі.

— ДжонК

3

Коефіцієнт визначення у множинній лінійній регресії: У множинній лінійній регресії коефіцієнт визначення може бути записаний у вигляді парних кореляцій для змінних, використовуючи квадратичну форму:

R^{2} = r_{y, x}^{T} r_{x, x}^{- 1} r_{y, x},

$R^2 = \boldsymbol{r}_{\mathbf{y},\mathbf{x}}^\text{T} \boldsymbol{r}_{\mathbf{x},\mathbf{x}}^{-1} \boldsymbol{r}_{\mathbf{y},\mathbf{x}},$

де - вектор співвідношень між вектором відповіді та кожним із пояснюючих векторів, і є матриця кореляцій між пояснювальними векторами (докладніше про це див цей родинний питання ). У випадку двоваріантної регресії у вас є: $\boldsymbol{r}_{\mathbf{y},\mathbf{x}}$ $\boldsymbol{r}_{\mathbf{x},\mathbf{x}}$

\begin{aligned} R^{2} & = {[\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}]}^{T} {[\begin{matrix} 1 & r_{X_{1}, X_{2}} \\ r_{X_{1}, X_{2}} & 1 \end{matrix}]}^{- 1} [\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}] \\ = \frac{1}{1 - r_{X_{1}, X_{2}}^{2}} {[\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}]}^{T} [\begin{matrix} 1 & - r_{X_{1}, X_{2}} \\ - r_{X_{1}, X_{2}} & 1 \end{matrix}] [\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}] \\ = \frac{1}{1 - r_{X_{1}, X_{2}}^{2}} (r_{Y, X_{1}}^{2} + r_{Y, X_{2}}^{2} - 2 r_{X_{1}, X_{2}} r_{Y, X_{1}} r_{Y, X_{2}}) . \end{aligned}

$\begin{equation} \begin{aligned} R^2 &= \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & r_{X_1,X_2} \\[6pt] r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix}^{-1} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & -r_{X_1,X_2} \\[6pt] -r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} ( r_{Y,X_1}^2 + r_{Y,X_2}^2 - 2 r_{X_1,X_2} r_{Y,X_1} r_{Y,X_2} ). \end{aligned} \end{equation}$

У вашому запитанні ви не вказали вказівки одновимірних кореляцій, тому без втрати загальності ми позначимо . Підставлення значень і виходу: $D \equiv \text{sgn} (r_{Y,X_1}) \cdot \text{sgn} (r_{Y,X_2}) \in \{ -1, +1 \}$ $r_{Y,X_1}^2 = 0.3$ $r_{Y,X_2}^2 = 0.4$

R^{2} = \frac{0.7 - 2 \sqrt{0.12} \cdot D \cdot r_{X_{1}, X_{2}}}{1 - r_{X_{1}, X_{2}}^{2}} .

$R^2 = \frac{0.7 - 2 \sqrt{0.12} \cdot D \cdot r_{X_1,X_2}}{1-r_{X_1,X_2}^2}.$

Це можливо для , оскільки можлива, що об'єднана інформація з двох змінних буде більшою, ніж сума її частин. Це цікаве явище називається «посиленням» (див., Наприклад, Lewis and Escobar 1986 ). $R^2 > 0.7$

— Бен - Відновлення Моніки
джерело