Множинна регресія або частковий коефіцієнт кореляції? І відносини між ними

Я навіть не знаю, чи має це питання сенс, але в чому різниця між множинною регресією та частковою кореляцією (крім очевидних відмінностей між кореляцією та регресією, на що я не прагну)?

Я хочу з’ясувати наступне: у
мене є дві незалежні змінні ( , ) та одна залежна змінна ( ). Тепер окремо незалежні змінні не співвідносяться із залежною змінною. Але для даного зменшується, коли зменшується. Тож чи аналізую я це за допомогою множинної регресії або часткової кореляції ?$x_1$$x_2$$y$$x_1$ $y$$x_2$

редагувати, щоб сподіватися покращити моє запитання: я намагаюся зрозуміти різницю між багаторазовою регресією та частковою кореляцією. Отже, коли $y$ зменшується для даного $x_1$ коли $x_2$ зменшується, це пов'язано з комбінованим впливом та на (множинна регресія) чи це пов'язано з усуненням ефекту (часткова кореляція)?$x_1$$x_2$$y$$x_1$

Коефіцієнт множинної лінійної регресії та часткова кореляція безпосередньо пов'язані і мають однакове значення (p-значення). Частковий r - лише інший спосіб стандартизації коефіцієнта, поряд з бета- коефіцієнтом (стандартизований коефіцієнт регресії) 1 . Отже, якщо залежна змінна y, а незалежні рівні x 1 і x 2, то$^1$$y$$x_1$$x_2$

$$\text{Beta:} \quad \beta_{x_1} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{1-r_{x_1x_2}^2}$$

$$\text{Partial r:} \quad r_{yx_1.x_2} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{\sqrt{ (1-r_{yx_2}^2)(1-r_{x_1x_2}^2) }}$$

Ви бачите , що числители ті ж , які говорять , що обидва формули вимірюють один і той же унікальний ефект від . Я спробую пояснити, як дві формули структурно однакові та як їх немає.$x_1$

Припустимо, у вас є z-стандартизовані (середнє значення 0, дисперсія 1) всі три змінні. Тоді чисельник дорівнює коваріації між двома видами залишків : (a) залишки, залишені при прогнозуванні на x 2 [обидві змінні стандартні], і (b) залишки, залишені при прогнозуванні x 1 на x 2 [обидва змінні стандартні] . Більш того, дисперсія залишків (а) дорівнює 1 - r 2 y x 2 ; дисперсія залишків (b) дорівнює 1 - r 2 x 1 x 2 .$y$$x_2$$x_1$$x_2$$1-r_{yx_2}^2$$1-r_{x_1x_2}^2$

Формула часткової кореляції потім чітко видається формулою звичайного Пірсона , обчисленої в цьому випадку між залишками (а) та залишками (б): Пірсон r , як ми знаємо, коваріація ділиться на знаменник, який є середнім геометричним значенням дві різні дисперсії.$r$$r$

Стандартизований коефіцієнт бета структурно схожий на Пірсона , лише те, що знаменник є геометричним середнім дисперсією з власним "Я" . Варіант залишків (а) не враховувався; його було замінено другим підрахунком дисперсії залишків (b). Таким чином, бета - це коваріація двох залишків відносно дисперсії одного з них (конкретно, тієї, що стосується прогнозуючого інтересу, x 1 ). Хоча часткове співвідношення, як уже зазначалося, - це та сама коваріація щодо їх гібридної дисперсії. Обидва типи коефіцієнта є способами стандартизації ефекту x 1 в середовищі інших прогнокторів.$r$$x_1$$x_1$

Деякі числові наслідки різниці. Якщо R-квадрат множинної регресії на x 1 і x 2 трапляється дорівнює 1, то обидва часткові кореляції предикторів із залежними будуть також 1 абсолютне значення (але бета, як правило, не буде 1). Дійсно, як говорилося раніше, r y x 1 . x 2 - співвідношення між залишками та залишками . Якщо те, що не x 2 в межах y, то саме те , що не x 2 в межах x $y$$x_1$$x_2$$r_{yx_1.x_2}$y <- x2x1 <- x2$x_2$$y$ $x_2$$x_1$то немає нічого в , що не є ні х 1 , ні х 2 : повний підходить. Що б не було кількість незрозумілого (по х 2 ) частина залишається в у ( 1 - г 2 г х 2 ), якщо він захоплений щодо високо незалежної частини х 1 (по 1 - г 2 х 1 х 2 ), r y x 1 . х 2 буде високим. β x $y$$x_1$$x_2$$x_2$$y$$1-r_{yx_2}^2$$x_1$$1-r_{x_1x_2}^2$$r_{yx_1.x_2}$$\beta_{x_1}$з іншого боку, буде високим лише за умови, що захоплена незрозуміла частина сама по собі є істотною частиною y .$y$$y$

---

З наведених вище формул отримує (і відступає від 2-провісника регресії до регресії з довільним числом предикторів ) Формула перетворення між бета і відповідним частковим г:$x_1,x_2,x_3,...$

$$r_{yx_1.X} = \beta_{x_1} \sqrt{ \frac {\text{var} (e_{x_1 \leftarrow X})} {\text{var} (e_{y \leftarrow X})}},$$

де означає збір усіх прогнозів, крім поточного ( x 1 ); e y ← X - залишки від регресування y на X , а e x 1 ← X - залишки від регресування x 1 на X , змінні в обох цих регресіях вводять їх стандартизованими .$X$$x_1$$e_{y \leftarrow X}$$y$$X$$e_{x_1 \leftarrow X}$$x_1$$X$

Примітка: якщо нам потрібно обчислити часткові кореляції з кожним предиктором x, ми зазвичай не будемо використовувати цю формулу, вимагаючи зробити дві додаткові регресії. Швидше, операції зйомки (часто використовуються в покроковому режимі та алгоритми регресії всіх підмножин) будуть виконані або буде обчислена матриця кореляції зображень .$y$$x$

---

β x 1 = b x 1 σ x $^1$ - відношення між необробленимbта стандартизованимβ-коефіцієнтами в регресії з перехопленням.$\beta_{x_1} = b_{x_1} \frac {\sigma_{x_1}}{\sigma_y}$$b$$\beta$

Просто випадково наткнувся на цей протектор. У вихідній відповіді у формулі для коефіцієнт $\beta_{x_1}$$\sqrt{SSY/SSX_1}$ is missing, that is

$$\beta_{x_1} = \frac{r_{yx_1} - r_{y x_2} ~r_{x_1 x_2}} {1-r^2_{x_1 x_2}} \times \sqrt{\frac{SSY}{SSX_1}},$$ where $SSY=\sum_i (y_i-\bar y)^2$ and $SSX_1 = \sum_i {(x_{1i} - \bar{x}_1)^2}$.