Яка інтерпретація коваріації коефіцієнтів регресії?

Функція lm в R може роздрукувати оцінену коваріацію коефіцієнтів регресії. Що дає нам ця інформація? Чи можемо ми зараз краще інтерпретувати модель або діагностувати проблеми, які можуть бути присутніми в моделі?

r multiple-regression least-squares

— мсс
джерело

Та сама інтерпретація, як і всі інші коваріації --- лінійна коваріація? Основне використання полягає в обчисленні дисперсії вибраних контрастів, що цікавлять, наприклад, для перевірки контрастів.

— kjetil b halvorsen

Відповіді:

Найбільш основне використання коваріаційної матриці - це отримання стандартних помилок регресійних оцінок. Якщо дослідника цікавлять лише стандартні помилки самих окремих параметрів регресії, вони можуть просто взяти квадратний корінь діагоналі, щоб отримати окремі стандартні помилки.

Однак часто вас може зацікавити лінійна комбінація параметрів регресії. Наприклад, якщо у вас є змінна індикатора для даної групи, вас може зацікавити середнє значення групи, яке б було

. $\beta_0 + \beta_{\rm grp}$

Тоді, щоб знайти стандартну помилку для оціночного середнього значення для цієї групи, ви мали б

, $\sqrt{X^\top S X}$

де - вектор ваших контрастів, а - матриця коваріації. У нашому випадку, якщо ми маємо лише додавання коваріату "grp", то ( для перехоплення, для належності до групи). $X$ $S$ $X = (1,1)$ $1$ $1$

Крім того, матриця коваріації (або більше, кореляційна матриця, яка однозначно ідентифікована з коваріаційної матриці, але не навпаки) може бути дуже корисною для певної діагностики моделі. Якщо дві змінні сильно корелюються, один із способів подумати про це полягає в тому, що в моделі виникають труднощі з'ясувати, яка змінна відповідає за ефект (оскільки вони так тісно пов'язані). Це може бути корисно для цілого ряду випадків, таких як вибір підмножини коваріатів для використання в прогностичній моделі; якщо дві змінні сильно корелюються, можливо, ви хочете використовувати лише одну з двох у вашій прогнозній моделі.

— Кліф АВ
джерело

Дякую за пояснення. В останньому абзаці ви описуєте проблеми, які можуть виникнути, коли незалежні змінні дуже колінеарні. Здається, було б легше подивитися на коваріацію / кореляцію фактичного

s, ніж

існує зворотна у формулі.

X

$X$

β

$\beta$

V а r (\hat{β}) = Е ({\hat{ε}}^{2}) {(Х^{'} Х)}^{- 1}

$Var(\hat\beta)=E(\hat\varepsilon^2)\left(X^\prime X\right)^{-1}$

— mss

Існує два "види" коефіцієнтів регресії:

"Справжні" коефіцієнти регресії (зазвичай позначаються ), які описують базовий процес генерування даних. Це фіксовані числа або "параметри". Прикладом може бути швидкість світла , яка (ми припускаємо) завжди однакова скрізь у доступному Всесвіті. $\beta$ $c$
Розрахункові коефіцієнти регресії (зазвичай позначаються позначається або ; ) , які обчислюються із зразків даних. Зразки - це сукупність випадкових змінних, тому оцінені коефіцієнти регресії також є випадковими змінними. Прикладом може бути оцінка для отримана в експерименті. $b$ $\hat \beta$ $c$

Тепер подумайте, що означає коваріація. Візьмемо будь-які дві випадкові величини і . Якщо є високим, тоді, коли ви малюєте велике абсолютне значення ви також можете розраховувати намалювати велике абсолютне значення в тому ж напрямку. Зауважимо, що "високий" тут відносно величини варіації та , як зазначено в коментарях. $X$ $Y$ $\left| \mathrm{Cov}\left(X,Y\right) \right|$ $X$ $Y$ $X$ $Y$

$b$ $b_1$ $b_2$ $b_1$ $b_2$ $b_1$ $b_2$

$b_1$ $b_1$

$\mathrm{Cov}\left(b_1,b_2\right)$

Щодо того, для чого це насправді використовується, відповідь Cliff AB - це хороший підсумок.

— shadowtalker
джерело

b_{i}

$b_i$

b_{j}

$b_j$

i \neq j

$i\ne j$

@whuber дякую, і я насправді написав "кореляцію" в один момент. Я

— приберу

Оскільки я, можливо, деякий час не повертаюсь до цієї теми, +1 заздалегідь для редагування!

— whuber

зробив таку ж помилку в моєму описі!

— Кліф АВ

@whuber зараз я насправді вдруге здогадуюсь про власне розуміння коваріації. Це моє питання лише в тому, що я не наголошував на тому, що ваги можуть бути різними, чи я пропускаю щось інше? Я натрапив на ваші "скриньки" пояснення, і я не бачу, що це може бути

— shadowtalker