Стандартні похибки для множинних коефіцієнтів регресії?

Я розумію, що це дуже основне питання, але я не можу знайти відповіді ніде.

Я обчислюю коефіцієнти регресії, використовуючи звичайні рівняння або QR-розкладання. Як я можу обчислити стандартні помилки для кожного коефіцієнта? Зазвичай я вважаю, що стандартні помилки обчислюються як:

$SE_\bar{x}\ = \frac{\sigma_{\bar x}}{\sqrt{n}}$

Що таке для кожного коефіцієнта? Який найефективніший спосіб обчислити це в контексті OLS?$\sigma_{\bar x}$

При виконанні оцінки по методу найменших квадратів ( в припущенні нормального випадкової складової) оцінки параметрів регресії нормально розподілені із середнім рівним істинному параметру регресії і ковариационной матрицею , де s 2 є залишкова дисперсія і X T X - матриця дизайну. X T - транспозиція X, а X визначається рівнянням моделі Y = X β + ϵ з $\Sigma = s^2\cdot(X^TX)^{-1}$$s^2$$X^TX$$X^T$$X$$X$$Y=X\beta+\epsilon$$\beta$параметри регресії та - термін помилки. Орієнтовне стандартне відхилення бета-параметра отримують, приймаючи відповідний додаток у ( X T X ) - 1, помножуючи його на вибіркову оцінку залишкової дисперсії і потім беручи квадратний корінь. Це не дуже простий розрахунок, але будь-який програмний пакет обчислить його і надасть у висновку.$\epsilon$$(X^TX)^{-1}$

Приклад

На сторінці 134 про Дрейпер і Сміт (на яку посилається в моєму коментарі) вони надають наступні дані для розміщення за найменшими квадратами моделі де ε ∼ N ( 0 , I σ 2 ) .$Y = \beta_0 + \beta_1 X + \varepsilon$$\varepsilon \sim N(0, \mathbb{I}\sigma^2)$

                      X                      Y                    XY
                      0                     -2                     0
                      2                      0                     0
                      2                      2                     4
                      5                      1                     5
                      5                      3                    15
                      9                      1                     9
                      9                      0                     0
                      9                      0                     0
                      9                      1                     9
                     10                     -1                   -10
                    ---                     --                   ---
Sum                  60                      5                    32
Sum of  Squares     482                     21                   528

Схоже на приклад, коли нахил повинен бути близьким до 0.

$$X^t = \pmatrix{ 1 &1 &1 &1 &1 &1 &1 &1 &1 &1 \\ 0 &2 &2 &5 &5 &9 &9 &9 &9 &10 }.$$

Так

$$X^t X = \pmatrix{n &\sum X_i \\ \sum X_i &\sum X_i^2} = \pmatrix{10 &60 \\60 &482}$$

і

$$\eqalign{ (X^t X)^{-1} &= \pmatrix{ \frac{\sum X_i^2}{n \sum (X_i - \bar{X})^2} &\frac{-\bar{X}}{\sum (X_i-\bar{X})^2} \\ \frac{-\bar{X}}{\sum (X_i-\bar{X})^2} &\frac{1}{\sum (X_i-\bar{X})^2} } \\ &= \pmatrix{\frac{482}{10(122)} &-\frac{6}{122} \\ -\frac{6}{122} &\frac{1}{122}} \\ &= \pmatrix{0.395 &-0.049 \\ -0.049 &0.008} }$$

де .$\bar{X} = \sum X_i/n = 60/10 = 6$

$β = (X^TX)^{-1} X^TY$

b1 = 1/61 = 0,0163 і b0 = 0,5- 0,0163 (6) = 0,402

$(X^TX)^{-1}$

Вибачте, що рівняння не виконували підписки та надписи, коли я вирізав і вставляв їх. Таблиця також не відтворилася добре, оскільки пробіли були проігноровані. Перший рядок з 3 чисел відповідає першим значенням XY і XY і однаковий для наступних рядків з трьох. Після Суми настають суми для XY і XY відповідно, а потім сума квадратів для XY і XY відповідно. Матриці 2x2 також заплуталися. Значення після дужок повинні бути в дужках під цифрами зліва.