Чому знаменник оцінки коваріації не повинен бути n-2, а не n-1?

Знаменник (неупередженого) оцінювача дисперсії дорівнює $n-1$ оскільки є $n$ спостережень і оцінюється лише один параметр.

Тим самим я дивуюсь, чому не повинен знаменник коваріації бути $n-2$ коли оцінюються два параметри?

Коваріанці - це дисперсії.

Оскільки за поляризаційною тотожністю

знаменники повинні бути однаковими.

Особливий випадок повинен дати вам інтуїцію; подумайте про наступне:

Ви щасливі, що останній завдяки корекції Бесселя.$\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

Але заміна на X в ^ C o v ( X , Y ) на перше дає ∑ n i = 1 ( X i - ¯ X ) ( X i - ¯ X$Y$$X$$\hat{\mathbb{Cov}}\left(X, Y\right)$ , так що, на ваш погляд, може найкраще заповнити бланк?$\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(X_{i}-\overline{X}\right)}{\text{mystery denominator}}$

Швидка і брудна відповідь ... Розглянемо перший ; якби у вас було n спостережень із відомим очікуваним значенням E ( X ) = 0, ви б використали$\text{var}(X)$$n$ $E(X) = 0$${1\over n}\sum_{i=1}^n X_i^2$ для оцінки дисперсії.

Очікуване значення невідоме, ви можете перетворити свої спостережень у n - 1 спостережень із відомим очікуваним значенням, взявши A i = X i - X 1 для i = 2 , … , n . Ви отримаєте формулу з n - 1 у знаменнику - однак A i не є незалежним, і вам доведеться це враховувати; наприкінці ви знайдете звичайну формулу.$n$$n-1$$A_i = X_i - X_1$$i = 2, \dots,n$$n-1$$A_i$

Тепер для коваріації ви можете використовувати ту саму ідею: якщо очікуване значення було ( 0 , 0 ) , у вас було б$(X,Y)$$(0,0)$${1\over n}$ in the formula. By subtracting $(X_1,Y_1)$ to all other observed values, you get $n-1$ observations with known expected value... and a ${1\over n-1}$ in the formula — once again, this introduces some dependence to take into account.

P.S. The clean way to do that is to choose an orthonormal basis of $\big\langle (1, \dots, 1)' \big\rangle^{\perp}$, that is $n-1$ vectors $c_1, \dots, c_{n-1} \in \mathbb R^n$ such that

• $\sum_j c_{ij}^2 = 1$$i$,
• $\sum_j c_{ij} = 0$$i$,
• $\sum_j c_{i_1j} c_{i_2j} = 0$$i_1 \ne i_2$ .

$n-1$$A_i = \sum_j c_{ij} X_j$$B_i = \sum_j c_{ij} Y_j$. The $(A_i,B_i)$ are independent, have expected value $(0,0)$, and have same variance/covariance than the original variables.

All the point is that if you want to get rid of the unknown expectation, you drop one (and only one) observation. This works the same for both cases.

Here is a proof that the p-variate sample covariance estimator with denominator $\frac{1}{n-1}$ is an unbiased estimator of the covariance matrix:

$x' = (x_1,...,x_p)$.

$\Sigma= E((x-\mu)(x-\mu)')$

$S = \frac{1}{n} \sum (x_i - \bar{x})(x_i - \bar{x})'$

To show: $E(S) = \frac{n-1}{n}\Sigma$

Proof: $S= \frac{1}{n}\sum x_ix_i' - \bar{x}\bar{x}'$

Next:

(1) $E(x_ix_i') = \Sigma + \mu\mu'$

(2) $E(\bar{x}\bar{x}') = \frac{1}{n} \Sigma+ \mu\mu'$

Therefore: $E(S) = \Sigma + \mu\mu' - (\frac{1}{n} \Sigma+ \mu\mu') = \frac{n-1}{n} \Sigma$

And so $S_u = \frac{n}{n-1}S$, with the final denominator $\frac{1}{n-1}$, is unbiased. The off-diagonal elements of $S_u$ are your individual sample covariances.

Additional remarks:

1. The n draws are independent. This is used in (2) to calculate the covariance of the sample mean.

2. Step (1) and (2) use the fact that $Cov(x)= E[xx']-\mu\mu'$

3. Step (2) uses the fact that $Cov(\bar{x})= \frac{1}{n}\Sigma$

I guess one way to build intuition behind using 'n-1' and not 'n-2' is - that for calculating co-variance we do not need to de-mean both X and Y, but either of the two, i.e.

1) Start $df=2n$.

2) Sample covariance is proportional to $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$. Lose two $df$; one from $\bar{X}$, one from $\bar{Y}$ resulting in $df=2(n-1)$.

3) However, $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ only contains $n$ separate terms, one from each product. When two numbers are multiplied together the independent information from each separate number disappears.

As a trite example, consider that

$24=1*24=2*12=3*8=4*6=6*4=8*3=12*2=24*1$,

and that does not include irrationals and fractions, e.g. $24=2\sqrt{6}*2\sqrt{6}$, so that when we multiply two number series together and examine their product, all we see are the $df=n-1$ from one number series, as we have lost half of the original information, that is, what those two numbers were before the pair-wise grouping into one number (i.e., multiplication) was performed.

In other words, without loss of generality we can write

$(X_i-\bar{X})(Y_i-\bar{Y})=z_i-\bar{z}$ for some $z_i$ and $\bar{z}$,

i.e., $z_i=X_iY_i-\bar{X}Y_i-X_i\bar{Y}$, and, $\bar{z}=\bar{X}\bar{Y}$. From the $z$'s, which then clearly have $df=n-1$, the covariance formula becomes

$\Sigma_{i=1}^n\frac{z_i-\bar{z}}{n-1}=$

$\Sigma_{i=1}^n\frac{[(X_i-\bar{X})(Y_i-\bar{Y})]}{n-1}=$

$\frac{1}{n-1}\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$.

Thus, the answer to the question is that the $df$ are halved by grouping.