Можна стандартизувати

Я намагаюся інтерпретувати результати статті, де вони застосували багаторазову регресію для прогнозування різних результатів. Однак$\beta$'s (стандартизовані коефіцієнти B, визначені як $\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}$ де $y$ є залежною змінною і $x_1$ є прогнозом) повідомляється, схоже, не відповідає повідомленому $R^2$:

Попри $\beta$ з -0,83, -0,29, -0,16, -0,43, 0,25 та -0,29, повідомляється $R^2$ становить лише 0,20.

Також три предиктори: вага, ІМТ та жировий% є мультиколінеарними, співвідносячись приблизно r = 0,8-0,9 один з одним у статі.

Є $R^2$ значення, правдоподібне при цьому $\beta$ або немає прямого зв'язку між $\beta$і $R^2$?

Крім того, можуть виникнути проблеми з мультиколінеарними предикторами $\beta$ четвертого предиктора (VO2max), який корелює навколо r = 0,4 з вищезгаданими трьома змінними?

Геометрична інтерпретація звичайної регресії найменших квадратів дає необхідне уявлення.

Більшість того, що нам потрібно знати, можна побачити у випадку двох регресорів $x_1$ і $x_2$ з відповіддю $y$. У стандартизованих коефіцієнтах, або «бета," виникають тоді , коли всі три вектора стандартизовані до загальної довжини (який можна взяти рівну одиницю). Таким чином,$x_1$ і $x_2$ - одиничні вектори в площині $E^2$- вони розташовані на одиничному колі - і $y$ є одиничним вектором у тривимірному евклідовому просторі $E^3$що містить цю площину. Встановлене значення$\hat y$ - ортогональна (перпендикулярна) проекція $y$ на $E^2$. Тому що$R^2$ просто - довжина квадрата $\hat y$, нам навіть не потрібно візуалізувати всі три виміри: всю необхідну нам інформацію можна намалювати в цій площині.

Ортогональні регресори

Найприємніша ситуація, коли регресори ортогональні, як на першій фігурі.

На цій та решті рисунків я послідовно малюю одиничний диск білим кольором, а регресори - чорними стрілками. $x_1$завжди буде вказувати прямо вправо. Товсті червоні стрілки зображують компоненти$\hat y$ в $x_1$ і $x_2$ вказівки: тобто $\beta_1 x_1$ і $\beta_2 x_2$. Довжина$\hat y$ це радіус сірого кола, на якому він лежить, - але пам’ятайте про це $R^2$- площа такої довжини.

Теорема Піфагора стверджує ,

$$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$$

Оскільки теорема Піфагора дотримується будь-якої кількості вимірів, це міркування узагальнює будь-яку кількість регресорів, даючи наш перший результат:

Коли регресори ортогональні, $R^2$ дорівнює сумі квадратів бет.

Безпосереднім наслідком є ​​те, що коли існує лише один регресор - одноманітна регресія--$R^2$ - площа стандартизованого схилу.

Співвіднесені

Негативно співвідносні регресори зустрічаються під кутом, більшим за прямий кут.

На цьому зображенні візуально видно, що сума квадратів бет суворо більша за $R^2$. Це можна довести алгебраїчно, використовуючи Закон косинусів або працюючи з матричним рішенням Нормальних рівнянь.

Зробивши два регресори майже паралельними, ми можемо позиціонувати $\hat y$ біля походження (для ан $R^2$ біля $0$), хоча він продовжує мати великі компоненти в $x_1$ і $x_2$напрямок. Таким чином, не існує обмеження, наскільки мало$R^2$ може бути.

Давайте запам'ятаємо цей очевидний результат, наше друге спільність:

Коли регресори співвідносяться, $R^2$ може бути довільно меншою, ніж сума квадратів бет.

Однак це не є універсальним відношенням, як свідчить наступна фігура.

Тепер $R^2$строго перевищує суму квадратів бета. За допомогою малювання двох регресорів зближуються та тримаються$\hat y$ між ними ми можемо зробити бета-те і інший підхід $1/2$, навіть тоді, коли $R^2$ близький до $1$. Для подальшого аналізу може знадобитися деяка алгебра: я вважаю, що це нижче.

Я залишаю вашій уяві побудувати подібні приклади з позитивно корельованими регресорами, які, таким чином, зустрічаються під гострим кутом.

Зауважте, що ці висновки неповні: обмежень на скільки менше $R^2$можна порівняти із сумою квадратів бета. Зокрема, уважно вивчивши можливості, ви можете зробити висновок (для регресії з двома регресорами), що

Коли регресори позитивно співвідносяться і бети мають загальний знак, або коли регресори негативно співвідносяться і бета має різні ознаки, $R^2$ повинна бути принаймні такою ж великою, як сума квадратів бета.

---

Результати алгебраїки

Як правило, нехай будуть регресори (стовпчикові вектори) $x_1, x_2, \ldots, x_p$ і відповідь буде $y$. Засоби стандартизації (a) кожен ортогональний вектору$(1,1,\ldots,1)^\prime$ і (b) вони мають одиничну довжину:

$$|x_i|^2 = |y|^2 = 1.$$

Зберіть вектори стовпців $x_i$ в $n\times p$ матриця $X$. Правила множення матриці випливають із цього

$$\Sigma = X^\prime X$$

є кореляційною матрицею $x_i$. Бета задані нормальними рівняннями,

$$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$$

Більше того, за визначенням, придатність є

$$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$$

Довжина його квадрата дає $R^2$ за визначенням:

$$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$$

Геометричний аналіз запропонував шукати пов'язані нерівності $R^2$ і сума квадратів бета,

$$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$$

The $L_2$ норма будь-якої матриці $A$ задається сумою квадратів його коефіцієнтів (в основному трактуючи матрицю як вектор $p^2$ компоненти в евклідовому просторі),

$$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$$

Нерівність Коші-Шварца передбачає

$$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$$

Оскільки коефіцієнти кореляції у квадраті не можуть перевищувати $1$ і є просто $p^2$ з них у $p\times p$ матриця $\Sigma$, $|\Sigma|_2$ не може перевищувати $\sqrt{1\times p^2} = p$. Тому

$$R^2 \le p\, \beta^\prime \beta.$$

Нерівність досягається, наприклад, коли всі $x_i$ ідеально позитивно співвідносяться.

Існує верхня межа щодо величини $R^2$можливо. Його середнє значення на регресора,$R^2/p$, не може перевищувати суму квадратів стандартизованих коефіцієнтів.

---

Висновки

Що ми можемо зробити загалом? Очевидно, що інформація про структуру кореляції регресорів, а також про знаки бета може використовуватися або для обмеження можливих значень$R^2$або навіть точно його обчислити. Відсутня ця повна інформація, мало що можна сказати поза очевидним фактом, що коли регресори лінійно незалежні, то одна ненульова бета-версія означає$\hat y$ ненульовий, демонстраційний $R^2$ є ненульовим.

Одне, що ми можемо однозначно зробити з висновку у питанні, - це те, що дані співвідносяться: адже сума квадратів бета, рівна $1.1301$, перевищує максимально можливе значення $R^2$ (а саме $1$), має бути певна кореляція.

Інша справа, що оскільки найбільша бета (за розміром) є $-0.83$, площа якого $0.69$--далеко перевищує повідомлений $R^2$ з $0.20$- ми можемо зробити висновок, що деякі регресори повинні бути негативно пов'язаними. (Фактично,$\text{VO}_{2\,\text{max}}$ вірогідно негативно співвідноситься з віком, вагою та жиром у будь-якому зразку, який охоплює широкий діапазон значень останнього.)

Якби було лише два регресори, ми могли б зробити набагато більше $R^2$ від знань про високі регресорні кореляції та перевірки бета, тому що це дасть нам змогу зробити точний ескіз того, як $x_1$, $x_2$, і $\hat y$повинні бути розташовані. На жаль, додаткові регресори в цій шести змінній проблемі значно ускладнюють справи. Аналізуючи будь-які дві змінні, нам доведеться «вийняти» або «контролювати» інші чотири регресори («коваріати»). Роблячи це, ми скорочуємо всі$x_1$, $x_2$, і $y$на невідомі кількості (залежно від того, як усі три з них пов'язані з коваріатами), не даючи нам знати майже нічого про фактичні розміри векторів, з якими ми працюємо.