Чим відрізняється коефіцієнт кореляції від нахилу регресії?

69

Я б очікував, що коефіцієнт кореляції буде таким же, як і нахил регресії (бета), однак лише порівнявши два, вони різні. Чим вони відрізняються - яку різну інформацію вони дають?

regression correlation

— лучано
джерело

3

якщо вони нормалізуються, вони однакові. але подумайте, що станеться, коли ви зміните одиниці ...

— nicolas

Я думаю, що відповіді на цей Q відповідають (і, можливо, навіть мій А на нього, де я показую, що коефіцієнт кореляції можна розглядати як абсолютне значення середнього геометричного рівня двох схилів, які ми отримаємо, якщо регресувати y на x і x на y відповідно) тут також доречні

— statmerkur

82

Y_{i} = α + β X_{i} + ε_{i}

$Y_i = \alpha + \beta X_i + \varepsilon_i$

\hat{β} = c o r (Y_{i}, X_{i}) \cdot \frac{S D (Y_{i})}{S D (X_{i})}

$\hat {\beta} = {\rm cor}(Y_i, X_i) \cdot \frac{ {\rm SD}(Y_i) }{ {\rm SD}(X_i) }$

S D (Y_{i}) = S D (X_{i})

${\rm SD}(Y_i) = {\rm SD}(X_i)$

$X_i$ $Y_i$

$\pm 1$
$Y_i$ $X_i$ $\hat \beta$ $Y_i$ $X_i$

— Макрос
джерело

Як наслідок цієї відповіді, зауважте, що регресування x проти y не є зворотним регресуванням y проти x!

— агіненський

23

$\beta_1$ $r$

— gung
джерело

14

Коефіцієнт кореляції вимірює "герметичність" лінійної залежності між двома змінними і обмежений між -1 і 1 включно. Кореляції, близькі до нуля, не представляють собою лінійної асоціації між змінними, тоді як кореляції, близькі до -1 або +1, вказують на сильну лінійну залежність. Інтуїтивно зрозуміло, чим простіше вам провести лінію, що найкраще підходить через розсіювач, тим вони більш співвіднесені.

$-\infty$ $+\infty$

Тож коефіцієнт кореляції та нахил регресії ОБОВ'ЯЗКОВО мають однаковий знак (+ або -), але майже ніколи не матимуть однакового значення.

Для простоти ця відповідь передбачає просту лінійну регресію.

— Підривник
джерело

- inf, inf

$-\inf, \inf$

1

Коефіцієнт кореляції Пірсона є безрозмірним і масштабується між -1 та 1 незалежно від розмірності та масштабу вхідних змінних.

Якщо (наприклад) ви вводите масу в грамах або кілограмах, це не має значення для значення , тоді як це зробить величезну різницю для градієнта / схилу (який має розмір і відповідно масштабується ... аналогічно, це не матиме жодної різниці для якщо шкала коригується будь-яким способом, включаючи замість цього використання фунтів або тонн). $r$ $r$

Проста демонстрація (вибачення за використання Python!):

import numpy as np
x = [10, 20, 30, 40]
y = [3, 5, 10, 11]
np.corrcoef(x,y)[0][1]
x = [1, 2, 3, 4]
np.corrcoef(x,y)[0][1]

показує, що хоча нахил збільшено в 10 разів. $r = 0.969363$

Я мушу зізнатися, що це акуратний трюк, що стає масштабним між -1 та 1 (один із тих випадків, коли чисельник ніколи не може мати абсолютного значення, що перевищує знаменник). $r$

Як @Macro детально пояснив вище, нахил , тож ви правильно розумієте, що Пірсона пов'язаний зі схилом, але тільки коли його регулюють відповідно до до стандартних відхилень (що ефективно відновлює розміри та масштаби!). $b = r(\frac{\sigma_{y}}{\sigma_{x}})$ $r$

Спочатку я подумав, що дивним є те, що формула, здається, підказує, що слабко підігнана лінія (низький ) призводить до зниження градієнта; потім я побудував приклад і зрозумів, що за даного градієнта зміна "пухкості" призводить до зменшення але це компенсується пропорційним збільшенням . $r$ $r$ $\sigma_{y}$

На графіку нижче нанесено чотири набори даних : $x,y$

результати (тому градієнт , , , ) ... зауважимо, що $y=3x$ $b=3$ $r=1$ $\sigma_{x}=2.89$ $\sigma_{y}=8.66$ $\frac{\sigma_{y}}{\sigma_{x}}=3$
те саме, але змінюється випадковим числом, з , , , з якого ми можемо обчислити $r = 0.2447$ $\sigma_{x}=2.89$ $\sigma_{y}=34.69$ $b= 2.94$
$y=15x$ (тому і , , ) $b=15$ $r=1$ $\sigma_{x}=0.58$ $\sigma_{y}=8.66$
те саме, що (2), але зі зменшеним діапазоном так (і все-таки , , ) $x$ $b= 14.70$ $r = 0.2447$ $\sigma_{x}=0.58$ $\sigma_{y}=34.69$

Видно, що дисперсія впливає на не обов'язково впливаючи на , а одиниці вимірювання можуть впливати на масштаб і, таким чином, не впливаючи на $r$ $b$ $b$ $r$

— Джеймс
джерело