Яка різниця між кореляцією та простою лінійною регресією?

Зокрема, я маю на увазі коефіцієнт кореляції Pearson продукт-момент.

Яка різниця між кореляцією між і і лінійною регресією, що передбачає від ?Y Y $X$$Y$$Y$$X$

По-перше, деякі подібності :

• стандартизований коефіцієнт регресії такий же, як і коефіцієнт кореляції Пірсона
• Квадрат Коефіцієнта кореляції Пірсона такий же, як у простій лінійній регресії$R^2$
• Ні проста лінійна регресія, ні кореляція безпосередньо не відповідають на питання причинності. Це важливо, тому що я зустрічав людей , які думають , що проста регресія може магічно дозволити висновок , що викликає .$X$$Y$

По-друге, деякі відмінності :

• Рівняння регресії (тобто ) можна використовувати для прогнозування на основі значеньY $a + bX$$Y$$X$
• Хоча кореляція, як правило, відноситься до лінійних відносин, вона може посилатися на інші форми залежності, такі як поліном або справді нелінійні зв'язки
• Хоча кореляція, як правило, відноситься до коефіцієнта кореляції Пірсона, є й інші типи кореляції, такі як Спірман.

Ось відповідь, яку я опублікував на веб-сайті graphpad.com :

Кореляція та лінійна регресія - не однакові. Розглянемо ці відмінності:

• Кореляція кількісно визначає ступінь пов'язаності двох змінних. Кореляція не відповідає рядку через дані.
• З кореляцією не потрібно думати про причину та наслідки. Ви просто кількісно визначите, наскільки дві змінні співвідносяться одна з одною. При регресії вам доведеться думати про причину і наслідки, оскільки лінія регресії визначається як найкращий спосіб прогнозувати Y від X.
• З кореляцією не має значення, яку з двох змінних ви називаєте "X" і яку ви називаєте "Y". Ви будете отримувати однаковий коефіцієнт кореляції, якщо поміняти їх двома. При лінійній регресії, рішення якої змінної ви називаєте "X", а яку ви називаєте "Y", має велике значення, оскільки ви отримаєте іншу лінійку найкращого пристосування, якщо поміняти їх двома. Рядок, який найкраще прогнозує Y від X, не є тим самим, що і лінія, що прогнозує X від Y (якщо у вас немає ідеальних даних без розкиду).
• Кореляція майже завжди використовується при вимірюванні обох змінних. Це рідко доцільно, коли однією змінною є те, що ви експериментально маніпулюєте. За допомогою лінійної регресії, змінна X - це те, що ви експериментально маніпулюєте (час, концентрація ...), а змінна Y - це те, що ви вимірюєте.

У випадку одинарного прогнозу лінійної регресії стандартизований нахил має те саме значення, що і коефіцієнт кореляції. Перевага лінійної регресії полягає в тому, що зв'язок може бути описаний таким чином, що ви можете передбачити (виходячи з співвідношення між двома змінними) бал за прогнозованою змінною з урахуванням будь-якого конкретного значення змінної предиктора. Зокрема, один фрагмент інформації лінійною регресією дає вам те, що кореляція не є перехопленням, значенням передбачуваної змінної, коли прогноктор дорівнює 0.

Якщо коротко - вони дають однакові результати обчислювально, але є більше елементів, які здатні інтерпретувати в простому лінійному регресії. Якщо вам цікаво просто охарактеризувати величину взаємозв'язку між двома змінними, використовуйте кореляцію - якщо вам цікаво передбачити або пояснити свої результати з точки зору конкретних значень, ви, мабуть, хочете регресії.

Кореляційний аналіз лише кількісно визначає співвідношення двох змінних, ігноруючи, що є залежною змінною, а яка є незалежною. Але перед тим, як застосувати регресію, потрібно прояснити вплив тієї змінної, яку потрібно перевірити на іншій змінній.

Усі наведені відповіді поки що дають важливу інформацію, але не слід забувати, що ви можете перетворити параметри одного в інший:

Регресія:$y = mx + b$

Зв'язок між параметрами регресії та кореляцією, коваріацією, дисперсією, стандартним відхиленням та засобами: b= ˉ y -m ˉ

Таким чином, ви можете перетворити обох один на одного за допомогою масштабування та змінення їх параметрів.

Приклад в R:

y <- c(4.17, 5.58, 5.18, 6.11, 4.50, 4.61, 5.17, 4.53, 5.33, 5.14)
x <- c(4.81, 4.17, 4.41, 3.59, 5.87, 3.83, 6.03, 4.89, 4.32, 4.69)
lm(y ~ x)
## 
## Call:
## lm(formula = y ~ x)
## 
## Coefficients:
## (Intercept)            x  
##      6.5992      -0.3362
(m <- cov(y, x) / var(x)) # slope of regression
## [1] -0.3362361
cor(y, x) * sd(y) / sd(x) # the same with correlation
## [1] -0.3362361
mean(y) - m*mean(x)       # intercept
## [1] 6.599196

З кореляції ми можемо отримати лише індекс, що описує лінійну залежність між двома змінними; в регресії ми можемо передбачити взаємозв'язок між більш ніж двома змінними і можемо використовувати його для виявлення, які змінні x можуть передбачати змінну результату y .

Цитуючи Алтмана Д.Г., "Практична статистика медичних досліджень" Чапман і Холл, 1991 р., Сторінка 321: "Кореляція зводить набір даних до єдиного числа, що не має прямого відношення до фактичних даних. Регресія - набагато корисніший метод, результати, які чітко пов'язані з отриманим вимірюванням. Сила співвідношення явна, і невизначеність чітко видно з довірчих інтервалів або інтервалів прогнозування "

Регресійний аналіз - це методика вивчення причини впливу співвідношення двох змінних. тоді як кореляційний аналіз - це методика кількісного визначення співвідношення двох змінних.

Кореляція - це показник (всього одне число) сили відносин. Регресія - це аналіз (оцінка параметрів моделі та статистичний тест їх значущості) адекватності певного функціонального зв'язку. Розмір кореляції пов'язаний з тим, наскільки точними будуть прогнози регресії.

Кореляція - це термін у статистиці, який визначає, чи існує співвідношення між двома, а потім ступенем взаємозв'язку. Її діапазон становить від -1 до +1. Хоча регресія означає повернутися до середнього. З регресії ми прогнозуємо значення, зберігаючи одну змінну залежною, а іншу незалежну, але слід уточнити значення, яку змінну ми хочемо передбачити.