Використання сингулярного декомпозиції величини для обчислення матриці коваріації варіації з лінійної регресійної моделі

У мене є матриця проектування регресорів p, n спостережень, і я намагаюся обчислити вибіркову дисперсійно-коваріаційну матрицю параметрів. Я намагаюся безпосередньо обчислити це за допомогою svd.

Я використовую R, коли я беру svd проектної матриці, я отримую три компоненти: матрицю $U$ який $n \times p$, матриця $D$ який $1\times 3$ (імовірно власні значення) та матриця $V$ який $3\times 3$. Я діагоналізував$D$, роблячи це a $3\times 3$ матриця з 0 у позадіагоналях.

Нібито, формула коваріації: $V D^2 V'$Однак, матриця не відповідає, ні навіть близько до R, побудований в функції vcov. Хтось має поради / довідки? Я визнаю, що я трохи некваліфікований у цій галузі.

По-перше, нагадаємо, що при припущеннях багатоваріантної нормальності лінійно-регресійної моделі ми маємо це

$$\hat{\beta} \sim \mathcal{N}( \beta, \sigma^2 (X^T X)^{-1} ) .$$

Тепер, якщо $X = U D V^T$ де правою частиною є SVD X, тоді ми отримуємо це $X^T X = V D U^T U D V = V D^2 V^T$. Отже,

$$(X^T X)^{-1} = V D^{-2} V^T .$$

Нам все ще не вистачає оцінки дисперсії, яка є

$$\hat{\sigma}^2 = \frac{1}{n - p} (y^T y - \hat{\beta}^T X^T y) .$$

Хоча я і не перевірив, сподіваюся, vcov повертається$\hat{\sigma}^2 V D^{-2} V^T$.

Примітка: Ви писали$V D^2 V^T$, який $X^T X$, але нам потрібна обернена для матриці дисперсії-коваріації. Також зауважте, що в$R$, для цього потрібно обчислити

vcov.matrix <- var.est * (v %*% d^(-2) %*% t(v))

спостерігаючи, що для матричного множення ми використовуємо %*%замість просто *. var.estвище - оцінка дисперсії шуму.

(Також я зробив припущення, що це $X$ повноцінний і $n \geq p$на всьому протязі. Якщо це не так, вам доведеться внести незначні зміни до вищевказаного.)