Чи існує елегантний / проникливий спосіб зрозуміти цю лінійну ідентичність регресії для декількох ?

У рамках лінійної регресії я натрапив на чудовий результат, який, якщо ми підходимо до моделі

E [Y] = β_{1} X_{1} + β_{2} X_{2} + c,

$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$

то, якщо ми стандартизуємо і відцентруємо дані , і , $Y$ $X_1$ $X_2$

R^{2} = C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} .

$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$

Мені це здається двома змінною версією для регресії , що радує. $R^2 = \mathrm{Cor}(Y,X)^2$ $y=mx+c$

Але єдиний мені відомий доказ - це ні в якому разі не конструктивний чи проникливий (див. Нижче), і все ж дивитись на це він здається, що це має бути легко зрозумілим.

Приклад думок:

Параметри і дають нам "пропорцію" і в , і тому ми приймаємо відповідні пропорції їх кореляцій ... $\beta_1$ $\beta_2$ $X_1$ $X_2$ $Y$
В - s часткові кореляції, є квадрат коефіцієнта множинної кореляції ... кореляції помножені на часткових кореляцій ... $\beta$ $R^2$
Якщо спочатку ортогоналізувати, то s буде ... чи має цей результат якийсь геометричний сенс? $\beta$ $\mathrm{Cov}/\mathrm{Var}$

Жодна з цих тем для мене, здається, нікуди не веде. Хтось може надати чітке пояснення, як зрозуміти цей результат.

Незадовільний доказ

R^{2} = \frac{S S_{r e g}}{S S_{T o t}} = \frac{S S_{r e g}}{N} = ⟨ (β_{1} X_{1} + β_{2} X_{2})^{2} ⟩ = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$

C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} = ⟨ Y X_{1} ⟩ β_{1} + ⟨ Y X_{2} ⟩ β_{2} = ⟨ β_{1} X_{1}^{2} + β_{2} X_{1} X_{2} ⟩ β_{1} + ⟨ β_{1} X_{1} X_{2} + β_{2} X_{2}^{2} ⟩ β_{2} = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$

QED.

— Короне
джерело

Ви повинні використовувати стандартизовані змінні, бо в іншому випадку ваша формула для не гарантовано лежить між і . Хоча це припущення з'являється у вашому доказі, воно допоможе зробити це явним на самому початку. Я також спантеличений тим, що ви насправді робите: ваш явно є функцією самої моделі - не маючи нічого спільного з даними - все ж ви починаєте згадувати, що ви "підходили" модель до чогось .

R^{2}

$R^2$

0

$0$

1

$1$

R^{2}

$R^2$

— whuber

Чи не є вашим найкращим результатом лише той факт, що X1 та X2 ідеально некорельовані?

— gung - Відновіть Моніку

@gung Я не думаю, що так - доказ внизу, схоже, говорить, що він працює незалежно. Цей результат мене теж дивує, тому

— бажаю

@whuber Я не впевнений, що ти маєш на увазі під функцією "однієї моделі"? Я просто маю на увазі для простого OLS з двома змінними передбачувача. Тобто це 2 змінна версія

R^{2}

$R^2$

R^{2} = C o r (Y, X)^{2}

$R^2 = Cor(Y,X)^2$

— Короне

Я не можу сказати, чи є ваші параметри чи оцінки.

β_{i}

$\beta_i$

— whuber

Відповіді:

Матриця капелюхів ідентична.

(Це лінійно-алгебраїчний спосіб констатувати, що OLS є ортогональною проекцією вектора реакції на простір, що охоплюється змінними.)

Нагадаємо, що за визначенням

R^{2} = \frac{E S S}{T S S}

$R^2 = \frac{ESS}{TSS}$

де

E S S = (\hat{Y})^{'} \hat{Y}

$ESS = (\hat Y)^\prime \hat Y$

- сума квадратів (по центру) передбачуваних значень і

T S S = Y^{'} Y

$TSS = Y^\prime Y$

- це сума квадратів (в центрі) значень відповіді. Заздалегідь стандартизація до одиничної дисперсії також передбачає $Y$

T S S = Y^{'} Y = n .

$TSS = Y^\prime Y = n.$

Нагадаємо також, що розрахункові коефіцієнти задаються методом

\hat{β} = (X^{'} X)^{-} X^{'} Y,

$\hat\beta = (X^\prime X)^{-} X^\prime Y,$

звідки

\hat{Y} = X \hat{β} = X (X^{'} X)^{-} X^{'} Y = H Y

$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$

де є «шапку матриця» здійснення проекції на його найменших квадратів . Він симетричний (що очевидно з самої його форми) та ідентичний . Ось доказ останнього для тих, хто не знайомий з цим результатом. Це просто перемішування дужок навколо: $H$ $Y$ $\hat Y$

\begin{aligned} H^{'} H = H H & = (X (X^{'} X)^{-} X^{'}) (X (X^{'} X)^{-} X^{'}) \\ = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} \\ = X (X^{'} X)^{-} X^{'} = H . \end{aligned}

$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$

Тому

R^{2} = \frac{E S S}{T S S} = \frac{1}{n} (\hat{Y})^{'} \hat{Y} = \frac{1}{n} Y^{'} H^{'} H Y = \frac{1}{n} Y^{'} H Y = (\frac{1}{n} Y^{'} X) \hat{β} .

$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$

Найважливішим кроком у середині послужило ідентифікація матриці капелюхів. Права рука ваша чарівна формула , тому що є (рядок) вектор коефіцієнтів кореляції між і стовпцями . $\frac{1}{n}Y^\prime X$ $Y$ $X$

— дзижчати
джерело

(+1) Дуже приємне оформлення. Але чому ^{-}замість ^{-1}скрізь?

— амеба

@amoeba Це узагальнений зворотний зв'язок , розміщений там для обробки випадків, коли може бути єдиним.

X^{'} X

$X^\prime X$

— whuber

@amoeba Penrose у своєму оригінальному документі ( «Узагальнена зворотна матриця» , 1954) використав позначення . Мені не подобається ні це, ні позначення тому що їх занадто легко плутати з кон'югатами, транспозицією або кон'югацією транспонувати, тоді як позначення настільки натякає на зворотну сторону, що випадковий читач може піти з думки про це як якщо їм подобається. Ти просто занадто хороший читач - але дякую за те, що помітили.

A^{†}

$A^\dagger$

A^{+}

$A^{+}$

A^{-}

$A^{-}$

A^{- 1}

$A^{-1}$

— whuber

Цікава і переконлива мотивація, але чи можу я запитати, чи це позначення - це те, що періодично використовується в іншому місці чи це ваш власний винахід?

— амеба

@amoeba: Так, це позначення з'являється в інших місцях, включаючи класичні тексти Грейбілла про лінійну модель.

— кардинал

Наступні три формули добре відомі, їх можна знайти в багатьох книгах про лінійну регресію. Вивести їх не важко.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

Якщо ви дві бета в рівняння , ви отримаєте вищевказану формулу для R-квадрата. $R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

Ось геометричне «прозріння». Нижче наведені дві картинки, що показують регресію від та . Цей вид представлення відомий як перемінники як вектори в предметному просторі (будь ласка, прочитайте, про що йдеться). Малюнки малюються після того, як усі три змінні були центрировані, і так (1) довжина кожного вектора = st. відхилення відповідної змінної та (2) кут (її косинус) між кожними двома векторами = кореляція між відповідними змінними. $Y$ $X_1$ $X_2$

введіть тут опис зображення

$\hat{Y}$ - прогноз регресії (ортогональна проекція на "площину X"); - термін помилки; , множний коефіцієнт кореляції. $Y$ $e$ $cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

Ліва картина зображує косі координати з від змінних і . Ми знаємо, що такі координати співвідносяться з коефіцієнтами регресії. А саме, координати: та . $\hat{Y}$ $X_1$ $X_2$ $b_1|X_1|=b_1\sigma_{X_1}$ $b_2|X_2|=b_2\sigma_{X_2}$

А на правій картинці показані відповідні перпендикулярні координати . Ми знаємо, що такі координати співвідносять коефіцієнти кореляції нульового порядку (це косинуси ортогональних проекцій). Якщо - кореляція між і і - це співвідношення між і то координата . Аналогічно для іншої координати . $r_1$ $Y$ $X_1$ $r_1^*$ $\hat Y$ $X_1$ $r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$ $r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

Поки це були загальні пояснення лінійного регресійного вектора подання. Тепер переходимо до завдання, щоб показати, як це може призвести до . $R^2 = r_1 \beta_1 + r_2 \beta_2$

Перш за все, нагадайте, що у своєму запитанні @Corone висунута умова, що вираз є істинним, коли всі три змінні стандартизовані , тобто не просто центрировані, а й масштабовані до дисперсії 1. Тоді (тобто маючи на увазі - "робочі частини" векторів), ми маємо координати, рівні: ; ; ; ; а також. Перемалюйте в цих умовах просто "площину X" із зображень, наведених вище: $|X_1|=|X_2|=|Y|=1$ $b_1|X_1|=\beta_1$ $b_2|X_2|=\beta_2$ $r_1|Y|=r_1$ $r_2|Y|=r_2$ $R=|\hat Y|/|Y|=|\hat Y|$

введіть тут опис зображення

На малюнку, ми маємо пару перпендикулярних координат і пару косих координат, одного і той же вектор довжину . Існує загальне правило для отримання перпендикулярних координат від косих (або назад): , де - матриця перпендикулярних; - однакова за розмірами матриця косих; і - симетрична матриця кутів (косинусів) між неортогональними осями. $\hat Y$ $R$ $\bf P = S C$ $\bf P$ points X axes $\bf S$ $\bf C$ axes X axes

$X_1$ і - осі в нашому випадку, при цьому є косинусом між ними. Отже, і . $X_2$ $r_{12}$ $r_1 = \beta_1 + \beta_2 r_{12}$ $r_2 = \beta_1 r_{12} + \beta_2$

Замініть ці s, виражені через s у викладі @ Corone , і ви отримаєте, що , - це правда , оскільки саме так виражається діагональ паралелограма (підфарбована на малюнку) через суміжні його сторони (кількість є скалярним твором). $r$ $\beta$ $R^2 = r_1 \beta_1 + r_2 \beta_2$ $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

Це ж стосується будь-якої кількості предикторів X. На жаль, неможливо намалювати однакові картини з багатьма прогнозами.

— ttnphns
джерело

+1 приємно бачити, що він побудований і таким чином, але це не додає стільки розуміння в порівнянні з відповіддю

— Ваубера

@Corone, я додав деяке "розуміння", яке ви можете зробити.

— ttnphns

+1 Дійсно здорово (після оновлення). Я подумав, що використання "загального правила" перетворення між координатами є дещо зайвим (і для мене було лише заплутаним); щоб побачити, що, наприклад, потрібно лише запам’ятати визначення косинусу і подивитися на один із правильних трикутників.

r_{1} = β_{1} + β_{2} r_{12}

$r_1 = \beta_1 + \beta_2 r_{12}$

— амеба

Дійсно класна редакція, переключення прийнято.

— Короне