Обчислення стандартних помилок для задач лінійної регресії без обчислення зворотного


11

Чи існує швидший спосіб обчислити стандартні помилки для задач лінійної регресії, ніж шляхом інвертування ? Тут я припускаю, що у нас є регресія:XX

y=Xβ+ε,

де - матриця n × k і y - n × 1 вектор.Xn×kyn×1

Щоб знайти рішення проблеми з найменшими квадратами, недоцільно робити що-небудь із , ви можете використовувати QR або SVD розклади на матриці X безпосередньо. Або ж ви можете використовувати градієнтні методи. А як щодо стандартних помилок? Нам дійсно потрібна лише діагональ ( X X ) - 1 (і, природно, LS-рішення для обчислення оцінки стандартної похибки ε ). Чи існують якісь конкретні методи для стандартного обчислення помилок?XXX(XX)1ε

Відповіді:


5

Припустимо, що ви вирішили свою задачу з найменшими квадратами, використовуючи сингулярне розкладання значення (SVD) , задане методомX

X=UΣV,

де і V є унітарними, а Σ - діагональною.UVΣ

Потім

XX=VΣ2V.

(XX)1X

(XX)1=VΣ2V.

(Дивіться відповідь, яку я дав на відповідне запитання на Math.SE. )

ΣV(XX)1nn×nn2O(n3)

XXX


+1, я забув про те чудове майно SVD. Якщо ніяких інших відповідей не прийде, я прийму цю відповідь, оскільки вона досить близька до тієї, яку я хотів отримати (і, безумовно, величини кращої, ніж я очікував отримати :))
mpiktas

(XX)1O(n2)X

(XX)1

Σ

Ігнорувати останній коментар, там помилка. Хоча я отримав правильну формулу.
mpiktas
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.