Еквівалентність кореляції вибірки та R статистика для простої лінійної регресії

Часто зазначається, що квадрат кореляції вибірки еквівалентний коефіцієнту визначення R 2 для простої лінійної регресії. Я не зміг цього продемонструвати і буду вдячний за повне підтвердження цього факту.$r^2$$R^2$

Здається, є деякі зміни в позначеннях: у простій лінійній регресії я зазвичай бачив фразу "вибірковий коефіцієнт кореляції" із символом як посилання на кореляцію між спостережуваними значеннями x та y . Це нотація, яку я прийняв для цієї відповіді. Я також бачив ту ж фразу і символ , який використовується для позначення кореляції між спостережуваним у і підігнаній у ; в моїй обороні я говорив про це як «множинний коефіцієнт кореляції» і використовується символ R . Ця відповідь стосується того, чому коефіцієнт визначення є одночасно квадратом r, а також квадратом $r$$x$$y$$y$$\hat y$$R$$r$$R$, тому не має значення, яке використання було призначене.

Результат випливає з одного рядка алгебри, як тільки будуть встановлені прямі факти про співвідношення та значення R , тож ви можете скористатися перехідним до рівняння в коробці. Я припускаю, що нам не доведеться доводити основні властивості коваріації та дисперсії, зокрема:$r^2$$R$

Var ( a X + b ) = a 2 Var ( X

$$\text{Cov}(aX+b, Y) = a\text{Cov}(X,Y)$$ $$\text{Var}(aX+b) = a^2\text{Var}(X)$$

Зауважимо, що останнє може бути похідне від першого, як тільки ми знаємо, що коваріація симетрична і що . Звідси ми випливаємо ще один основний факт, щодо кореляції. Для ≠ 0 , і так довго , як Х і Y мають ненульові дисперсії,$\text{Var}(X)= \text{Cov}(X,X)$$a \neq 0$$X$$Y$

$$\begin{align} \text{Cor}(aX+b, Y) &= \frac{\text{Cov}(aX+b, Y)}{\sqrt{\text{Var}(aX+b) \text{Var} (Y)}} \\ &= \frac{a}{\sqrt{a^2}} \times \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \text{Var} (Y)}} \\ \text{Cor}(aX+b, Y) &= \text{sgn}(a) \, \text{Cor}(X,Y) \end{align}$$

$\text{sgn}(a)$$\text{sgn}(a) = +1$$a>0$$\text{sgn}(a) = -1$$a<0$$\text{sgn}(a) = 0$$a=0$$aX+b$$\text{Var}(aX+b) = 0$$a, \, c \neq 0$

$$\text{Cor}(aX+b, \, cY+d) = \text{sgn}(a) \, \text{sgn}(c) \, \text{Cor}(X,Y)$$

Нам не потрібна ця більш загальна формула для відповіді на поточне запитання, але я включаю її, щоб підкреслити геометрію ситуації: вона просто констатує, що кореляція не змінюється, коли будь-яка змінна масштабується або перекладається, але повертається в знак, коли змінна є відображено.

$R^2$$R$$Y$$\hat Y$$\hat Y = \hat \beta_0 + \hat \beta_1 X$$\hat Y$$X$

$$\boxed{R = \text{Cor}(\hat Y, Y) = \text{Cor}(\hat \beta_0 + \hat \beta_1 X, \, Y) = \text{sgn}(\hat \beta_1) \, \text{Cor}(X, Y) = \text{sgn}(\hat \beta_1) \, r}$$

$R = \pm r$$R$$R^2 = r^2$

$R^2$$R$$R^2 = (R)^2$$R$$R^2$$n$$\mathbf{X}$$\mathbf{1_n}$

$\mathbf{\hat{Y}}$$\mathbf{Y}$$\mathbf{X}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$$\mathbf{1_n}$$0 = \mathbf{1_n} \cdot \mathbf{e} = \sum_{i=1}^n e_i$$Y_i = \hat{Y_i} + e_i$$\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$$\bar{Y}$$\mathbf{Y} - \bar{Y}\mathbf{1_n}$$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$$\theta$$R$

$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$$\mathbf{e}$

$$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$$

$SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$$1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$$1 - \sin^2 \theta = \cos^2 \theta$$R$$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}}$$\cos^2 \theta$$1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$$\frac{SS_{\text{regression}}}{SS_{\text{total}}}$

$R^2$

$$R^2=\frac{\hat{V}(\hat{y}_i)}{\hat{V}(y_i)} =\frac{1/(N-1)\sum_{i=1}^N(\hat{y}_i-\bar{y})^2}{1/(N-1)\sum_{i=1}^N(y_i-\bar{y})^2}=\frac{ESS}{TSS}$$ $$r^2(y_i,\hat{y}_i)=\frac{\left(\sum_{i=1}^N(y_i-\bar{y})(\hat{y}_i-\bar{y})\right)^2}{\left(\sum_{i=1}^N(y_i-\bar{y})^2\right)\left(\sum_{i=1}^N(\hat y_i-\bar{y})^2\right)}$$ $$\hat V(y_i)=\hat V(\hat y_i)+\hat V(e_i)$$