Багатоваріантна лінійна регресія проти декількох одновимірних регресійних моделей

У налаштуваннях універсальної регресії ми намагаємося моделювати

де вектор спостережень і матриця проектування з провісниками. Рішення - .$y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

У налаштуваннях багатоваріантної регресії ми намагаємося моделювати

де - матриця з спостережень та різних прихованих змінних. Рішення - .$y \in \mathbb{R}^{n \times p}$$n$$p$$\beta_0 = (X^TX)^{-1}XY$

Моє запитання полягає в тому, чим це відрізняється від виконання різних одновимірних лінійних регресій? Я читав тут, що в останньому випадку ми беремо до уваги співвідношення залежних змінних, але я не бачу цього з математики.$p$

В установці класичної багатоваріантної лінійної регресії у нас є модель:

де являє собою незалежні змінні, являє собою декілька змінних відповідей, а - термін шуму Гайса. Шум має нульове значення і може бути співвіднесений між змінними відповіді. Максимальне ймовірне рішення для ваг рівносильне рішенню з найменшими квадратами (незалежно від кореляцій шуму) [1] [2]:$X$$Y$$\epsilon$

Це рівнозначно незалежному вирішенню окремої проблеми регресії для кожної змінної відповіді. Це видно з того факту, що й стовпчик (містить ваги для ї вихідної змінної) можна отримати шляхом множення на th стовпця (містить значення ї змінної відповіді).$i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$$Y$$i$

Однак багатоваріантна лінійна регресія відрізняється від окремо вирішення окремих регресійних задач тим, що статистичні умови виведення враховують кореляції між численними змінними відповідей (наприклад, див. [2], [3], [4]). Наприклад, матриця коваріації шуму відображається в вибіркових розподілах, статистиці випробувань та оцінках інтервалів.

Ще одна відмінність виникає, якщо дозволити кожній змінній відповіді мати свій набір коваріатів:

де являє собою ту змінну відповіді, а і являє собою відповідний набір коеваріатів і термін шуму. Як вище, умови шуму можуть бути співвіднесені між змінними відповіді. У цьому налаштуванні існують оцінки, які ефективніші за найменші квадрати, і їх не можна звести до вирішення окремих регресійних задач для кожної змінної відповіді. Наприклад, див. [1].$Y_i$$i$$X_i$$\epsilon_i$

Список літератури

1. Зеллнер (1962) . Ефективний метод оцінки, здавалося б, непов'язаних регресій та тестів на зміщення агрегації.
2. Гельвіг (2017) . Багатовимірна лінійна регресія [Слайди]
3. Фокс і Вайсберг (2011) . Багатовимірні лінійні моделі в Р. [Додаток до: Супровід R до прикладної регресії]
4. Майтра (2013) . Багатовимірні лінійні регресійні моделі. [Слайди]