Чи є спосіб використовувати коваріаційну матрицю для пошуку коефіцієнтів для множинної регресії?

Для простої лінійної регресії коефіцієнт регресії обчислюється безпосередньо з матриці дисперсії-коваріації через де - індекс залежної змінної, а - індекс пояснювальної змінної.C d , $C$ d

Якщо є лише матриця коваріації, чи можна обчислити коефіцієнти для моделі з кількома пояснювальними змінними?

ETA: Для двох пояснювальних змінних виявляється, що і аналогічно для . Я не відразу бачу, як розширити це на три чи більше змінних. β

Так, матриця коваріації всіх змінних - пояснювальна та відповідь - містить інформацію, необхідну для пошуку всіх коефіцієнтів, за умови, що в модель включений переривний (постійний) термін. (Хоча коваріанці не дають ніякої інформації про постійний термін, це можна знайти із засобів даних.)

Аналіз

Нехай дані для пояснювальних змінних бути організовані в вигляді - мірних векторів - стовпців х 1 , х 2 , ... , х р і змінна відгуку бути вектор - стовпець у , вважається реалізація випадкової величини Y . Звичайні оцінки найменших квадратів р коефіцієнтів в моделі$n$$x_1, x_2, \ldots, x_p$$y$$Y$$\hat\beta$

виходять при складанні вектори - стовпці X 0 = ( 1 , 1 , ... , 1 ) ' , X 1 , ... , Х р в п × р + 1 масив Х і рішення системи лінійних рівнянь$p+1$$X_0 = (1, 1, \ldots, 1)^\prime, X_1, \ldots, X_p$$n \times p+1$$X$

Він еквівалентний системі

Гауссова ліквідація вирішить цю систему. Це триває приєднанням до матрицю $p+1\times p+1$іp+1-вектор$\frac{1}{n}X^\prime X$$p+1$вр+1×р+2масивуAі рядки знижують його. $\frac{1}{n}X^\prime y$$p+1 \times p+2$$A$

Першим кроком буде інспекція . Визначивши це ненульовим, він переходить до віднімання відповідних кратних елементів першого рядуAз решти рядків, щоб нульові записи записати в першому стовпчику. Ці кратні будуть$\frac{1}{n}(X^\prime X)_{11} = \frac{1}{n}X_0^\prime X_0 = 1$$A$$\frac{1}{n}X_0^\prime X_i = \overline X_i$$A_{i+1,j+1} = X_i^\prime X_j$$\overline X_i \overline X_j$$X_i$$X_j$$i+1, p+2$$\frac{1}{n}X_i^\prime y - \overline{X_i}\overline{y}$, the covariance of $X_i$ with $y$.

Thus, after the first step of Gaussian elimination the system is reduced to solving

and obviously--since all the coefficients are covariances--that solution can be found from the covariance matrix of all the variables.

(When $C$ is invertible the solution can be written $C^{-1}(\text{Cov}(X_i, y))^\prime$. The formulas given in the question are special cases of this when $p=1$ and $p=2$. Writing out such formulas explicitly will become more and more complex as $p$ grows. Moreover, they are inferior for numerical computation, which is best carried out by solving the system of equations rather than by inverting the matrix $C$.)

The constant term will be the difference between the mean of $y$ and the mean values predicted from the estimates, $X\hat{\beta}$.

Example

To illustrate, the following R code creates some data, computes their covariances, and obtains the least squares coefficient estimates solely from that information. It compares them to the estimates obtained from the least-squares estimator lm.

#
# 1. Generate some data.
#
n <- 10        # Data set size
p <- 2         # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE]; 
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1]  # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat  

The output shows agreement between the two methods:

(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
       `From data via OLS` = coef(lm(y ~ x))))

                  (Intercept)        x1        x2
From covariances     0.946155 -0.424551 -1.006675
From data via OLS    0.946155 -0.424551 -1.006675