Чому RSS розподіляється чі квадратним часом np?

Я хотів би зрозуміти, чому в моделі OLS розподіляється RSS (залишкова сума квадратів) ( - кількість параметрів у моделі, кількість спостережень).

χ^{2} \cdot (n - p)

$\chi^2\cdot (n-p)$

p

$p$

n

$n$

Прошу вибачення за те, що я задав таке основне запитання, але, здається, я не в змозі знайти відповідь в Інтернеті (або в моїх, більш орієнтованих на додатків, підручниках).

regression distributions least-squares

— Тал Галілі
джерело

Зауважте, що відповіді демонструють твердження не зовсім правильно: розподіл RSS - це (не ) разів де - справжня дисперсія помилок.

σ^{2}

$\sigma^2$

n - p

$n-p$

χ^{2} (n - p)

$\chi^2(n-p)$

σ^{2}

$\sigma^2$

— whuber

Відповіді:

Я вважаю таку лінійну модель: . ${y} = X \beta + \epsilon$

Вектор залишків оцінюється за

\hat{ϵ} = y - X \hat{β} = (I - X (X^{'} X)^{- 1} X^{'}) y = Q y = Q (X β + ϵ) = Q ϵ

$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$

де . $Q = I - X (X'X)^{-1} X'$

Зауважте, що (слід є інваріантним при циклічній перестановці) і що . Таким чином, власними значеннями є та (деякі деталі нижче). Отже, існує унітарна матриця така, що ( матриці діагоналізуються унітарними матрицями тоді і лише тоді, коли вони є нормальними. ) $\textrm{tr}(Q) = n - p$ $Q'=Q=Q^2$ $Q$ $0$ $1$ $V$

V^{'} Q V = Δ = diag (\underset{n - p times}{\underset{⏟}{1, \dots, 1}}, \underset{p times}{\underset{⏟}{0, \dots, 0}})

$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$

Тепер нехай . $K = V' \hat{\epsilon}$

Оскільки , ми маємо і тому . Таким чином $\hat{\epsilon} \sim N(0, \sigma^2 Q)$ $K \sim N(0, \sigma^2 \Delta)$ $K_{n-p+1}=\ldots=K_n=0$

\frac{‖ K ‖^{2}}{σ^{2}} = \frac{‖ K^{⋆} ‖^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$

з . $K^{\star} = (K_1, \ldots, K_{n-p})'$

Далі, оскільки - це унітарна матриця, ми також маємо $V$

‖ \hat{ϵ} ‖^{2} = ‖ K ‖^{2} = ‖ K^{⋆} ‖^{2}

$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$

Таким чином

\frac{RSS}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$

Нарешті, зауважте, що цей результат означає це

E (\frac{RSS}{n - p}) = σ^{2}

$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$

Так , то мінімальний многочлен з ділить многочлен . Отже, власні значення належать до числа і . Оскільки також є сумою власних значень, помножених на їх кратність, ми обов'язково маємо, що - власне значення з кратністю а нуль - власне значення з кратністю . $Q^2 - Q =0$ $Q$ $z^2 - z$ $Q$ $0$ $1$ $\textrm{tr}(Q) = n-p$ $1$ $n-p$ $p$

— окрам
джерело

(+1) Гарна відповідь. Можна обмежити увагу на ортогональних, а не на одиничних, оскільки справжній та симетричний. Також, що таке ? Я не вважаю це визначеним. Трохи повторюючи аргумент, можна також уникнути використання виродженої норми у випадку, якщо це викликає деяке занепокоєння у тих, хто її не знає.

V

$V$

Q

$Q$

S C R

$\mathrm{SCR}$

— кардинал

@Cardinal. Влучне зауваження. SCR ("Somme des Carrés Résiduels" французькою мовою) повинен був бути RSS.

— окрам

Дякую за детальну відповідь Ocram! Деякі кроки вимагають від мене більшого вигляду, але я маю намір обміркувати зараз - дякую!

— Тал Галілі

@Glen_b: О, я змінив пару днів тому, щоб змінити SCR на SRR. Я не пам’ятав, що в моєму коментарі згадується SCR. Вибачте за непорозуміння.

— ocram

@Glen_b: Це мало означати RSS: -S Відредаговано ще раз. Thx

— ocram

ІМХО, матричне позначення ускладнює речі. Чиста мова векторного простору є чистішою. Модель може бути записана де має стандартний нормальний розподіл на і вважається, що належить до векторного підпростору . $Y=X\beta+\epsilon$ $\boxed{Y=\mu + \sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W \subset \mathbb{R}^n$

Тепер мова елементарної геометрії вступає в гру. Оцінювач найменших квадратів of - це не що інше, як : ортогональна проекція спостережуваного на простір якому належить вважати . Вектор невязок є : проекція на ортогональное доповнення з в . Розмір дорівнює . $\hat\mu$ $\mu$ $P_WY$ $Y$ $W$ $\mu$ $P^\perp_WY$ $W^\perp$ $W$ $\mathbb{R^n}$ $W^\perp$ $\dim(W^\perp)=n-\dim(W)$

Нарешті, і має стандартний нормальний розподіл на , отже, його норма в квадраті має розподіл зі ступенями свободи .

P_{W}^{⊥} Y = P_{W}^{⊥} (μ + σ G) = 0 + σ P_{W}^{⊥} G,

$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$

P_{W}^{⊥} G

$P^\perp_WG$

W^{⊥}

$W^\perp$

χ^{2}

$\chi^2$

\dim (W^{⊥})

$\dim(W^\perp)$

Ця демонстрація використовує лише одну теорему, фактично теорему визначення:

Визначення і теорема . Випадковий вектор у має стандартний нормальний розподіл у векторному просторі якщо він приймає значення у та його координати в одній ( у всіх) ортонормальній основі з є незалежними одномірні стандартні нормальні розподілу $\mathbb{R}^n$ $U \subset \mathbb{R}^n$ $U$ $\iff$ $U$

(з цієї визначення-теореми теорема Кокрана настільки очевидна, що її не варто заявляти)

— Стефан Лоран
джерело