Поясніть різницю між багаторазовою регресією та багатоваріантною регресією при мінімальному використанні символів / математики

Чи справді різні та багатоваріантні регресії різняться? Що таке змінна в будь-якому випадку?

Дуже швидко, я б сказав: "кратний" застосовується до кількості предикторів, які входять в модель (або еквівалентно матриці проектування) з одним результатом (відповідь Y), а "багатоваріантність" відноситься до матриці векторів відповіді. Не можу згадати автора, який починає свій вступний розділ про багатоваріантне моделювання з цього приводу, але я думаю, що це Брайан Еверітт у своєму підручнику « Ан R і S-Plus« Супутник багатоваріантного аналізу . Для ретельного обговорення цього питання я б запропонував переглянути його останню книгу « Багатовимірне моделювання та багатоваріантний аналіз для поведінкових наук» .

Для "змінної" я б сказав, що це звичайний спосіб посилатися на будь-яку випадкову змінну, яка слідує за відомим або гіпотезованим розподілом, наприклад, ми говоримо про гауссових змінних як серії спостережень, отриманих із звичайного розподілу (з параметрами μ і σ 2 ). Імовірно, ми говорили, що це кілька випадкових реалізацій X з математичним очікуванням μ , і приблизно 95% з них, як очікується, лежатимуть на діапазоні [ μ - 2 σ ; μ + 2 σ ] .$X_i$$\mu$$\sigma^2$$\mu$$[\mu-2\sigma;\mu+2\sigma]$

Ось два тісно пов'язані приклади, які ілюструють ідеї. Приклади дещо орієнтовані на США, але ідеї можуть бути екстраполіровані на інші країни.

Приклад 1

Припустимо, університет бажає уточнити свої критерії прийому, щоб вони могли приймати «кращих» студентів. Крім того, припустимо, що середній бал студентів (GPA) - це те, що університет бажає використовувати як показник ефективності для студентів. Вони мають на увазі декілька критеріїв, таких як середній бал середньої школи (HSGPA), показник SAT (SAT), гендерна і т.д.

Рішення: Множинна регресія

У наведеному вище контексті є одна залежна змінна (GPA), і у вас є кілька незалежних змінних (HSGPA, SAT, Gender тощо). Ви хочете з’ясувати, яка з незалежних змінних є хорошими прогнозами для вашої залежної змінної. Ви б використовували багаторазову регресію, щоб зробити цю оцінку.

Приклад 2

Замість описаної вище ситуації, припустимо, що приймальна установа хоче відстежувати ефективність студентів протягом часу та бажає визначити, який із їхніх критеріїв визначає ефективність студентів у часі. Іншими словами, вони мають бали GPA за чотири роки, коли студент залишається в школі (скажімо, GPA1, GPA2, GPA3, GPA4), і вони хочуть знати, яка з незалежних змінних прогнозує кращі показники GPA за рік рік основи. Приймальна служба сподівається встановити, що одні й ті ж незалежні змінні прогнозують результати роботи протягом усіх чотирьох років, так що їх вибір критеріїв прийому гарантує, що результативність студентів стабільно висока протягом усіх чотирьох років.

Рішення: Багатоваріантна регресія

У прикладі 2 у нас є кілька залежних змінних (тобто GPA1, GPA2, GPA3, GPA4) та кілька незалежних змінних. У такій ситуації ви б використовували багатоваріантну регресію.

$y$$x$$y = f(x)$

$y = f(x_1, x_2, ..., x_n)$

$y_1, y_2, ..., y_m = f(x_1, x_2, ..., x_n)$$y_{11}, y_{12}, ...$$x_{11}, x_{12}, ...$$Y = f(X)$

Подальше читання:

• "R Cookbook" П. Teetor, видавець O'Reilly, 2011, глава 11 на тему "Лінійна регресія та ANOVA".
• Питання Quora " Яка різниця між множинною лінійною регресією та багатоваріантною регресією? "
• Підручник з математики (Matlab) з лінійної регресії .

Я думаю, що ключове розуміння (і диференціатор) тут, окрім кількості змінних по обидва боки рівняння, полягає в тому, що у випадку багатоваріантної регресії мета полягає у використанні факту, що існує (загалом) кореляція між змінними відповідей (або результати). Наприклад, у медичному випробуванні прогнозниками можуть бути вага, вік та раса, а показники результату - артеріальний тиск та холестерин. Теоретично ми могли б створити дві моделі "множинної регресії": одна регресує артеріальний тиск на вагу, вік та расу, а друга модель регресує холестерин за тими ж факторами. Однак, як альтернативи, ми могли б створити єдину багатовимірну модель регресії , яка передбачає іартеріальний тиск та холестерин одночасно ґрунтуються на трьох змінних прогнозів. Ідея полягає в тому, що модель багатоваріантної регресії може бути кращою (більш прогнозованою) настільки, що вона може дізнатися більше про співвідношення між артеріальним тиском та холестерином у пацієнтів.

У багатоваріантній регресії є більше однієї залежної змінної з різними дисперсіями (або розподілами). Змінні прогнози можуть бути більше однієї або декількох. Отже, це може бути множинна регресія з матрицею залежних змінних, тобто декількома дисперсіями. Але коли ми говоримо про множину регресії, ми маємо на увазі лише одну залежну змінну з одним розподілом або дисперсією. Змінні прогнозів більше однієї. Узагальнення декількох відноситься до більш ніж одних змінних предиктора, але багатоваріантне відноситься до більш ніж одних залежних змінних.