Чому слід

13

У моделі ми могли б оцінити за допомогою звичайного рівняння: ${y} = X \beta + \epsilon$ $\beta$

\hat{β} = (X^{'} X)^{- 1} X^{'} y,

$\hat{\beta} = (X'X)^{-1}X'y,$ і ми могли б отримати

\hat{y} = X \hat{β} .

$\hat{y} = X \hat{\beta}.$

Вектор залишків оцінюється за

\hat{ϵ} = y - X \hat{β} = (I - X (X^{'} X)^{- 1} X^{'}) y = Q y = Q (X β + ϵ) = Q ϵ,

$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$

де

Q = I - X (X^{'} X)^{- 1} X^{'} .

$Q = I - X (X'X)^{-1} X'.$

Моє запитання - як отримати висновок

tr (Q) = n - p .

$\textrm{tr}(Q) = n - p.$

regression least-squares inference

— жушун0008
джерело

12

Висновок лише підраховує розміри векторних просторів. Однак це, як правило, не відповідає дійсності.

Найбільш основні властивості множення матриці показують, що лінійне перетворення, представлене матрицею задовольняє $\mathbb{H}=X(X^\prime X)^{-}X^\prime$

H^{2} = {(X (X^{'} X)^{-} X^{'})}^{2} = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} = H,

$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$

демонструючи це як оператор проекції . Тому його доповнення

Q = 1 - H

$\mathbb{Q} = 1 - \mathbb{H}$

(як зазначено у питанні) також є оператором проекції. Слід - це його ранг (див. Нижче), звідки слід дорівнює . $\mathbb{H}$ $h$ $\mathbb{Q}$ $n-h$

З самої його формули видно, що - матриця, пов'язана зі складом двох лінійних перетворень і самПерший ( ) перетворює - вектор в -векторних . Другий ( ) є перетворення з в визначається . Її ранг не може перевищувати менший з цих двох розмірів, який у налаштуваннях мінімум квадратів є завжди $\mathbb{H}$

J = (X^{'} X)^{-} X^{'}

$\mathbb{J}=(X^\prime X)^{-}X^\prime$

X

$X$

J

$\mathbb{J}$

n

$n$

y

$y$

p

$p$

\hat{β}

$\hat\beta$

X

$X$

R^{p}

$\mathbb{R}^p$

R^{n}

$\mathbb{R}^n$

\hat{y} = X \hat{β}

$\hat y = X\hat \beta$

(але може бути менше

, коли

не є повноцінним). Отжеранг композиції

не може перевищувати ранг

. Правильний висновок, отже, такий

p

$p$

p

$p$

J

$\mathbb{J}$

H = X J

$\mathbb{H}=X\mathbb{J}$

X

$X$

тоді і тільки тоді, коли є повним рангом; і взагалі . У першому випадку модель, як кажуть, "ідентифікована" (для коефіцієнтів ). $\text{tr} (\mathbb{Q}) = n-p$ $\mathbb{J}$ $n \ge \text{tr} (\mathbb{Q}) \ge n-p$ $\beta$

буде повноцінним, якщо і лише тоді, коли є зворотним. $\mathbb{J}$ $X^\prime X$

Геометрична інтерпретація

являє ортогональну проекцію з векторів (представляє "відповідь" або "залежна змінна") на простір, що охоплюється стовпцями (представляючи "незалежні змінні" або "коваріати"). Різниця показує, як розкласти будь-який вектор на суму векторів де перший можна "передбачити" віда другий перпендикулярно до нього . Коли $\mathbb{H}$ $n$ $y$ $X$ $\mathbb{Q}=1-\mathbb{H}$ $n$ $y$

y = H (y) + Q (y),

$y = \mathbb{H}(y) + \mathbb{Q}(y),$

X

$X$

p

$p$ стовпці породжують - мірний простір (тобто, не колінеарні), ранг є і рангом є , що відображає додаткових розмірів варіації у відповідь які не представлені в межах незалежних змінних. Слід дає алгебраїчну формулу для цих вимірів.

X

$X$

p

$p$

H

$\mathbb{H}$

p

$p$

Q

$\mathbb{Q}$

n - p

$n-p$

n - p

$n-p$

Фон лінійної алгебри

Оператор проекції на векторному просторі (наприклад, ) є лінійним перетворенням (тобто, ендоморфізм з ) таким чином, що . Це робить його доповнення також оператором проекції, оскільки $V$ $\mathbb{R}^n$ $\mathbb{P}:V\to V$ $V$ $\mathbb{P}^2=\mathbb{P}$ $\mathbb{Q}=1-\mathbb{P}$

Q^{2} = {(1 - P)}^{2} = 1 - 2 P + P^{2} = 1 - 2 P + P = Q .

$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$

Усі проекції фіксують кожен елемент їх зображень, тому що коли ми можемо записати для деякого , звідки $v\in \text{Im}(\mathbb{P})$ $v = \mathbb{P}(w)$ $w\in V$

w = P (v) = P^{2} (v) = P (P (v)) = P (w) .

$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$

З будь-яким ендоморфізмом з є два підпростори: його ядро та його зображення Кожен вектор може бути записаний у формі де та . Тому ми можемо побудувати основу для для якої і . Коли $\mathbb{P}$ $V$

ker (P) = {v \in v | P (v) = 0}

$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$

Im (P) = {v \in v | \exists_{w \in V} P (w) = v} .

$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$

v \in V

$v\in V$

v = w + u

$v = w+u$

w \in Im (P)

$w\in \text{Im}(\mathbb{P})$

u \in Ker (P)

$u\in \text{Ker}(\mathbb{P})$

E \cup F

$E \cup F$

V

$V$

E \subset Ker (P)

$E \subset \text{Ker}(\mathbb{P})$

F \subset Im (P)

$F \subset \text{Im}(\mathbb{P})$

V

$V$ є кінцевомірною, матриця в цій основі буде, таким чином, у блочно-діагональній формі, з одним блоком (відповідним дії на ) всі нулі та інший (відповідний дія на ) дорівнює по матриці тотожності , де розмірність дорівнює . Слід - це сума значень по діагоналі і тому повинна дорівнювати . Це число є ранг з : розмірність його образу.

P

$\mathbb{P}$

P

$\mathbb{P}$

E

$E$

P

$\mathbb{P}$

F

$F$

f

$f$

f

$f$

F

$F$

f

$f$

P

$\mathbb{P}$

f \times 1 = f

$f\times 1 = f$

P

$\mathbb{P}$

Слід дорівнює сліду (дорівнює , розмірність ) мінус слід . $1-\mathbb{P}$ $1$ $n$ $V$ $\mathbb{P}$

Ці результати можна підсумувати твердженням, що слід проекції дорівнює його рангу.

— дзижчати
джерело

Дуже дякую. Я дізнався багато розширених знань з вашої відповіді.

— zhushun0008

19

@Dougal вже дав відповідь, але ось ще одна, трохи простіша.

Спочатку скористаємося тим, що . Отже, отримуємо:Тепер це одинична матриця, так . Тепер скористаємося тим, що , тобто слід є інваріантним при циклічних перестановках. Отже, маємо:Коли ми помножимо на , отримаємо матрицю тотожності , слід якої - . Отже, отримуємо: $\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$

t r (Q) = t r (I) - t r (X (X^{'} X)^{- 1} X^{'}) .

$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$

I

$I$

n \times n

$n \times n$

t r (I) = n

$\tr(I) = n$

t r (A B) = t r (B A)

$\tr(AB) = \tr(BA)$

t r (Q) = n - t r ((X^{'} X)^{- 1} (X^{'} X)) .

$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

(X^{'} X)

$(X'X)$

p \times p

$p \times p$

p

$p$

t r (Q) = n - p .

$\tr(Q) = n - p.$

— Вольфганг
джерело

6

$\newcommand\R{\mathbb R}$ Припустимо, що і що є повноцінним. $n \le p$ $X$

Розглянемо компактне розкладання значення однини , де - діагональне, а мають (але зауважте, що є рейтингом не більше тому він не може бути ). Потім $X = U \Sigma V^T$ $\Sigma \in \R^{p \times p}$ $U \in \R^{n \times p}, V \in \R^{p \times p}$ $U^T U = V^T V = V V^T = I_p$ $U U^T$ $p$ $I_n$

\begin{aligned} X (X^{T} X)^{- 1} X^{T} & = U Σ V^{T} (V Σ U^{T} U Σ V^{T})^{- 1} V Σ U^{T} \\ = U Σ V^{T} (V Σ^{2} V^{T})^{- 1} V Σ U^{T} \\ = U Σ V^{T} V Σ^{- 2} V^{T} V Σ U^{T} \\ = U U^{T} . \end{aligned}

$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$

Тепер існує матриця така, що є єдиною. Ми можемо записати Ця форма показує, що є позитивним напіввизначеним, а оскільки це дійсний svd, а особливі значення є квадратом власних значень квадратної симетричної матриці, також говорить нам, що має власні значення 1 (кратності ) і 0 (множинності ). $U_2 \in \R^{n \times n-p}$ $U_n = \begin{bmatrix}U & U_2\end{bmatrix}$

\begin{aligned} I - X (X^{T} X)^{- 1} X^{T} & = U_{n} U_{n}^{T} - U U^{T} \\ = U_{n} (I_{n} - [\begin{matrix} I_{p} & 0 \\ 0 & 0 \end{matrix}]) U_{n}^{T} \\ = U_{n} [\begin{matrix} 0 & 0 \\ 0 & I_{n - p} \end{matrix}] U_{n}^{T} . \end{aligned}

$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$

Q

$Q$

Q

$Q$

n - p

$n-p$

p

$p$

Q

$Q$

n - p

$n-p$ .

— Дугал
джерело