Обчислення стандартних помилок для задач лінійної регресії без обчислення зворотного

Чи існує швидший спосіб обчислити стандартні помилки для задач лінійної регресії, ніж шляхом інвертування ? Тут я припускаю, що у нас є регресія: $X'X$

y = X β + ε,

$y=X\beta+\varepsilon,$

де - матриця і - вектор. $X$ $n\times k$ $y$ $n\times 1$

Щоб знайти рішення проблеми з найменшими квадратами, недоцільно робити що-небудь із , ви можете використовувати QR або SVD розклади на матриці безпосередньо. Або ж ви можете використовувати градієнтні методи. А як щодо стандартних помилок? Нам дійсно потрібна лише діагональ (і, природно, LS-рішення для обчислення оцінки стандартної похибки ). Чи існують якісь конкретні методи для стандартного обчислення помилок? $X'X$ $X$ $(X'X)^{-1}$ $\varepsilon$

linear-algebra optimization

— mpiktas
джерело

Припустимо, що ви вирішили свою задачу з найменшими квадратами, використовуючи сингулярне розкладання значення (SVD) , задане методом $X$

X = U Σ V^{'},

$X = U\Sigma V',$

де і є унітарними, а - діагональною. $U$ $V$ $\Sigma$

Потім

X^{'} X = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

$(X'X)^{-1}$ $X$

(X^{'} X)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

(Дивіться відповідь, яку я дав на відповідне запитання на Math.SE. )

$\Sigma$ $V$ $(X'X)^{-1}$ $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

$X'X$ $X$

— Джефф Оксберрі
джерело

+1, я забув про те чудове майно SVD. Якщо ніяких інших відповідей не прийде, я прийму цю відповідь, оскільки вона досить близька до тієї, яку я хотів отримати (і, безумовно, величини кращої, ніж я очікував отримати :))

— mpiktas

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

Σ

$\Sigma$

Ігнорувати останній коментар, там помилка. Хоча я отримав правильну формулу.

— mpiktas