Геометрична інтерпретація коефіцієнта множинної кореляції

Мене цікавить геометричне значення множинної кореляції $R$ та коефіцієнт визначення $R^2$ в регресії $y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$ , або у векторних позначеннях ,

$$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$$

Тут проектна матриця $\mathbf{X}$ має $n$ рядків і $k$ стовпців, з яких перший - $\mathbf{x}_1 = \mathbf{1}_n$ , вектор 1s, що відповідає перехопленню $\beta_1$ .

Геометрія цікавіша в $n$ -вимірному предметному просторі, а не в $k$ -вимірному просторі змінної. Визначте матрицю капелюхів:

$$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$$

Це ортогональна проекція на стовпчастий простір , тобто площина через початок, що проходить через k вектори, що представляють кожну змінну x i , перший з яких дорівнює 1 n . Тоді H проектує вектор спостережуваних реакцій у на його «тінь» на квартирі, вектор підігнаних значень у = Н у , і , якщо дивитися вздовж шляху проекції ми бачимо вектор нев'язки е = у - $\mathbf{X}$$k$$\mathbf{x}_i$$\mathbf{1}_n$$\mathbf{H}$$\mathbf{y}$$\mathbf{\hat{y}} = \mathbf{Hy}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$утворює третю сторону трикутника. Це повинно дати нам два маршрути до геометричної інтерпретації :$R^2$

1. Квадрат множинного коефіцієнта кореляції, , який визначається як співвідношення між у і у . Це виглядатиме геометрично як косинус кута.$R$$\mathbf{y}$$\mathbf{\hat{y}}$
2. З точки зору довжин векторів: наприклад, .$SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$

Я був би радий побачити короткий рахунок, який пояснює:

• Більш детальні деталі для (1) та (2),
• Чому (1) і (2) еквівалентні,
• Коротко, як геометричне розуміння дозволяє нам візуалізувати основні властивості , наприклад, чому він переходить до 1, коли дисперсія шуму переходить до 0. (Зрештою, якщо ми не можемо зрозуміти нашу візуалізацію, то це не більше ніж гарненьке картина.)$R^2$

Я вважаю, що це простіше, якщо змінні в першу чергу зосереджуються, що знімає перехоплення від питання. Однак у більшості облікових записів підручників, які вводять множину регресії, дизайнерська матриця така, як я виклала. Звичайно, добре, якщо експозиція заглибиться у простір, що охоплюється центрированими змінними, але для ознайомлення з лінійною алгеброю підручника було б дуже корисно співвіднести це з тим, що відбувається геометрично в ситуації, що не перебуває без цензури. Дійсно проникливий відповідь міг би пояснити , що саме руйнування геометричний , коли термін перехоплювати відкидається - тобто , коли вектор 1$\mathbf{X}$$\mathbf{1}_n$знімається з натяжного набору. Я не думаю, що цей останній пункт можна вирішити, розглядаючи лише центрировані змінні.

Якщо в моделі є постійний термін, то лежить у просторі стовпців X (як і ˉ Y 1 n , який стане корисним пізніше). Обладнана Y являє собою ортогональную проекцію спостерігається Y на плоску , утвореної цій колонці простору. Це означає , що вектор залишків е = у - у перпендикулярна до квартири, і , отже , до 1 н . Розглядаючи крапковий добуток, ми можемо бачити ∑ n i = 1 e i = 0 , тому компоненти$\mathbf{1_n}$$\mathbf{X}$$\bar{Y}\mathbf{1_n}$$\mathbf{\hat{Y}}$$\mathbf{Y}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$$\mathbf{1_n}$$\sum_{i=1}^n e_i = 0$ має дорівнювати нулю. Оскільки Y $\mathbf{e}$ ми приходимовисновкущо Σ п я = 1 Y я = Σ п я = 1 ^ Y я такщо обидва підігнані і спостерігаються реакції мають середню ˉ Y .$Y_i = \hat{Y_i} + e_i$$\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$$\bar{Y}$

Пунктирні лінії на діаграмі є і Y - ˉ Y 1 п , які є головним чином векторами ведеться спостереження і підігнаних відповідей. Косинус кута & thetas тому між цими векторами буде співвідношення Y і Y , який за визначенням є множинний коефіцієнт кореляції R . Трикутник ці вектори утворюють з вектором невязок є прямокутним , так як Y - ··· Y 1 п лежить в квартирі , але $\mathbf{Y} - \bar{Y}\mathbf{1_n}$$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$$\theta$$Y$$\hat{Y}$$R$$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$$\mathbf{e}$

$$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$$

Ми також можемо застосувати Піфагора до трикутника:

$$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$$

Which may be more familiar as:

$$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$$

This is the decomposition of the sums of squares, $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$.

The standard definition for the coefficient of determination is:

$$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$$

When the sums of squares can be partitioned, it takes some straightforward algebra to show this is equivalent to the "proportion of variance explained" formulation,

$$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$$

There is a geometric way of seeing this from the triangle, with minimal algebra. The definitional formula gives $R^2 = 1 - \sin^2(\theta)$ and with basic trigonometry we can simplify this to $\cos^2(\theta)$. This is the link between $R^2$ and $R$.

Note how vital it was for this analysis to have fitted an intercept term, so that $\mathbf{1_n}$ was in the column space. Without this, the residuals would not have summed to zero, and the mean of the fitted values would not have coincided with the mean of $Y$. In that case we couldn't have drawn the triangle; the sums of squares would not have decomposed in a Pythagorean manner; $R^2$ would not have had the frequently-quoted form $SS_{\text{reg}}/SS_{\text{total}}$ nor be the square of $R$. In this situation, some software (including R) uses a different formula for $R^2$ altogether.