Доведення того, що F-статистика слідує за F-розподілом

У світлі цього питання: Доказ того, що коефіцієнти в моделі OLS відповідають t-розподілу з (nk) ступенем свободи

Я хотів би зрозуміти, чому

F = \frac{(TSS - RSS) / (p - 1)}{RSS / (n - p)},

$F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)},$

де - кількість параметрів моделі та кількість спостережень, а загальна дисперсія, залишкова дисперсія, слід розподілу . $p$ $n$ $TSS$ $RSS$ $F_{p-1,n-p}$

Я мушу визнати, що навіть не намагався довести це, бо не знав би з чого почати.

— користувач1627466
джерело

Крістоф Ганк і Френсіс вже дали дуже гарну відповідь. Якщо у вас все ще виникають труднощі в розумінні доказів тесту на f для лінійної регресії, спробуйте перевірити teamvable.github.io/techblog/… . Я написав допис у блозі про доказ швидкості лінійної регресії. Він написаний корейською мовою, але це може не бути проблемою, оскільки майже все це математична формула. Я сподіваюся, що це допоможе, якщо у вас все-таки виникнуть труднощі в розумінні доказу ф-тесту для лінійної регресії.

— Таехо О

Хоча це посилання може відповісти на питання, краще включити сюди суттєві частини відповіді та надати посилання для довідки. Відповіді лише на посилання можуть стати недійсними, якщо пов’язана сторінка зміниться. - З огляду

— mkt - Відновіть Моніку

Відповіді:

Давайте покажемо результат, для загального випадку якого ваша формула для тестової статистики є окремим випадком. Взагалі нам потрібно переконатися, що статистику можна, за характеристикою розподілу $F$ , записати як відношення незалежних rvs, поділених на їх ступінь свободи. $\chi^2$

Нехай з і відомими, не випадкові і має повне раннє колонку . Це являє лінійні обмеження для (на відміну від позначення ОП) регресорів, включаючи постійний термін. Так, у прикладі @ user1627466 відповідає обмеженням встановлення всіх коефіцієнтів нахилу до нуля. $H_{0}:R^\prime\beta=r$ $R$ $r$ $R:k\times q$ $q$ $q$ $k$ $p-1$ $q=k-1$

З огляду на , у нас є так що (з будучи «квадратним коренем матриці» , наприклад, через a Розкладання Холеського) як $Var\bigl(\hat{\beta}_{\text{ols}}\bigr)=\sigma^2(X'X)^{-1}$

\begin{array}{rcl} R^{'} ({\hat{β}}_{ols} - β) \sim N (0, σ^{2} R^{'} (X^{'} X)^{- 1} R), \end{array}

$\begin{eqnarray*} R^\prime(\hat{\beta}_{\text{ols}}-\beta)\sim N\left(0,\sigma^{2}R^\prime(X^\prime X)^{-1} R\right), \end{eqnarray*}$

B^{- 1 / 2} = {R^{'} (X^{'} X)^{- 1} R}^{- 1 / 2}

$B^{-1/2}=\{R^\prime(X^\prime X)^{-1} R\}^{-1/2}$

B^{- 1} = {R^{'} (X^{'} X)^{- 1} R}^{- 1}

$B^{-1}=\{R^\prime(X^\prime X)^{-1} R\}^{-1}$

\begin{array}{rcl} n := \frac{B^{- 1 / 2}}{σ} R^{'} ({\hat{β}}_{ols} - β) \sim N (0, I_{q}), \end{array}

$\begin{eqnarray*} n:=\frac{B^{-1/2}}{\sigma}R^\prime(\hat{\beta}_{\text{ols}}-\beta)\sim N(0,I_{q}), \end{eqnarray*}$

\begin{array}{rcl} V a r (n) & = & \frac{B^{- 1 / 2}}{σ} R^{'} V a r ({\hat{β}}_{ols}) R \frac{B^{- 1 / 2}}{σ} \\ = & \frac{B^{- 1 / 2}}{σ} σ^{2} B \frac{B^{- 1 / 2}}{σ} = I \end{array}

$\begin{eqnarray*} Var(n)&=&\frac{B^{-1/2}}{\sigma}R^\prime Var\bigl(\hat{\beta}_{\text{ols}}\bigr)R\frac{B^{-1/2}}{\sigma}\\ &=&\frac{B^{-1/2}}{\sigma}\sigma^2B\frac{B^{-1/2}}{\sigma}=I \end{eqnarray*}$ де другий рядок використовує дисперсію OLSE.

Це, як показано у відповіді, на яку ви посилаєтесь (див. Також тут ), не залежить від де - звичайна неупереджена оцінка дисперсійної помилки, з є" залишковим виробником матриця "з регресу на .

d := (n - k) \frac{{\hat{σ}}^{2}}{σ^{2}} \sim χ_{n - k}^{2},

$d:=(n-k)\frac{\hat{\sigma}^{2}}{\sigma^{2}}\sim\chi^{2}_{n-k},$

{\hat{σ}}^{2} = y^{'} M_{X} y / (n - k)

$\hat{\sigma}^{2}=y'M_Xy/(n-k)$

M_{X} = I - X (X^{'} X)^{- 1} X^{'}

$M_{X}=I-X(X'X)^{-1}X'$

X

$X$

Отже, оскільки - квадратична форма у нормалах, Зокрема, під , це зводиться до статистики $n'n$

\begin{array}{rcl} \frac{\overset{\sim χ_{q}^{2}}{\overset{⏞}{n^{'} n}} / q}{d / (n - k)} = \frac{({\hat{β}}_{ols} - β)^{'} R {R^{'} (X^{'} X)^{- 1} R}^{- 1} R^{'} ({\hat{β}}_{ols} - β) / q}{{\hat{σ}}^{2}} \sim F_{q, n - k} . \end{array}

$\begin{eqnarray*} \frac{\overbrace{n^\prime n}^{\sim\chi^{2}_{q}}/q}{d/(n-k)}=\frac{(\hat{\beta}_{\text{ols}}-\beta)^\prime R\left\{R^\prime(X^\prime X)^{-1}R\right\}^{-1}R^\prime(\hat{\beta}_{\text{ols}}-\beta)/q}{\hat{\sigma}^{2}}\sim F_{q,n-k}. \end{eqnarray*}$

H_{0} : R^{'} β = r

$H_{0}:R^\prime\beta=r$

\begin{array}{rcl} F = \frac{(R^{'} {\hat{β}}_{ols} - r)^{'} {R^{'} (X^{'} X)^{- 1} R}^{- 1} (R^{'} {\hat{β}}_{ols} - r) / q}{{\hat{σ}}^{2}} \sim F_{q, n - k} . \end{array}

$\begin{eqnarray} F=\frac{(R^\prime\hat{\beta}_{\text{ols}}-r)^\prime\left\{R^\prime(X^\prime X)^{-1}R\right\}^{-1}(R^\prime\hat{\beta}_{\text{ols}}-r)/q}{\hat{\sigma}^{2}}\sim F_{q,n-k}. \end{eqnarray}$

Для ілюстрації розглянемо окремий випадок , , , і . Тоді квадратну евклідову відстань OLS оцінка з походження, стандартизованої за кількістю елементів - підкреслюючи, що оскільки є квадратними стандартними нормалами, а значить, , розподіл може бути видно як "середній розподіл. $R^\prime=I$ $r=0$ $q=2$ $\hat{\sigma}^{2}=1$ $X^\prime X=I$

\begin{array}{rcl} F = {\hat{β}}_{ols}^{'} {\hat{β}}_{ols} / 2 = \frac{{\hat{β}}_{ols, 1}^{2} + {\hat{β}}_{ols, 2}^{2}}{2}, \end{array}

$\begin{eqnarray} F=\hat{\beta}_{\text{ols}}^\prime\hat{\beta}_{\text{ols}}/2=\frac{\hat{\beta}_{\text{ols},1}^2+\hat{\beta}_{\text{ols},2}^2}{2}, \end{eqnarray}$

{\hat{β}}_{ols, 2}^{2}

$\hat{\beta}_{\text{ols},2}^2$

χ_{1}^{2}

$\chi^2_1$

F

$F$

χ^{2}

$\chi^2$

У випадку, якщо ви віддаєте перевагу невеликому моделюванню (що, звичайно, не є доказом!), В якому перевіряється нуль, що жоден з регресорів не має значення - чого вони насправді не мають, щоб ми імітували нульовий розподіл. $k$

Ми бачимо дуже гарну згоду між теоретичною щільністю та гістограмою статистичних даних тесту в Монте-Карло.

library(lmtest)
n <- 100
reps <- 20000
sloperegs <- 5 # number of slope regressors, q or k-1 (minus the constant) in the above notation
critical.value <- qf(p = .95, df1 = sloperegs, df2 = n-sloperegs-1) 
# for the null that none of the slope regrssors matter

Fstat <- rep(NA,reps)
for (i in 1:reps){
  y <- rnorm(n)
  X <- matrix(rnorm(n*sloperegs), ncol=sloperegs)
  reg <- lm(y~X)
  Fstat[i] <- waldtest(reg, test="F")$F[2] 
}

mean(Fstat>critical.value) # very close to 0.05

hist(Fstat, breaks = 60, col="lightblue", freq = F, xlim=c(0,4))
x <- seq(0,6,by=.1)
lines(x, df(x, df1 = sloperegs, df2 = n-sloperegs-1), lwd=2, col="purple")

Щоб побачити, що версії тестової статистики у запитанні та відповіді дійсно рівнозначні, зауважте, що нуль відповідає обмеженням і . $R'=[0\;\;I]$ $r=0$

Нехай розділиться згідно з яким коефіцієнти обмежені нулем під нулем (у вашому випадку всі, крім постійної, але деривація, яку слід слідувати, є загальною). Також нехай - відповідна розподілена оцінка OLS. $X=[X_1\;\;X_2]$ $\hat{\beta}_{\text{ols}}=(\hat{\beta}_{\text{ols},1}^\prime,\hat{\beta}_{\text{ols},2}')'$

Тоді і нижній правий блок Тепер використовуйте результати для розділених інверсій, щоб отримати де .

R^{'} {\hat{β}}_{ols} = {\hat{β}}_{ols, 2}

$R'\hat{\beta}_{\text{ols}}=\hat{\beta}_{\text{ols},2}$

R^{'} (X^{'} X)^{- 1} R \equiv \tilde{D},

$R^\prime(X^\prime X)^{-1}R\equiv\tilde D,$

\begin{aligned} (X^{T} X)^{- 1} & = {(\begin{array}{cc} X_{1}^{'} X_{1} & X_{1}^{'} X_{2} \\ X_{2}^{'} X_{1} & X_{2}^{'} X_{2} \end{array})}^{- 1} \\ \equiv (\begin{array}{cc} \tilde{A} & \tilde{B} \\ \tilde{C} & \tilde{D} \end{array}) \end{aligned}

$\begin{align*} (X^TX)^{-1}&=\left( \begin{array} {c,c} X_1'X_1&X_1'X_2 \\ X_2'X_1&X_2'X_2\end{array} \right)^{-1}\\&\equiv\left( \begin{array} {c,c} \tilde A&\tilde B \\ \tilde C&\tilde D\end{array} \right) \end{align*}$

\tilde{D} = (Х_{2}^{'} Х_{2} - Х_{2}^{'} Х_{1} (Х_{1}^{'} Х_{1})^{- 1} Х_{1}^{'} Х_{2})^{- 1} = (Х_{2}^{'} М_{Х_{1}} Х_{2})^{- 1}

$\tilde D=(X_2'X_2-X_2'X_1(X_1'X_1)^{-1}X_1'X_2)^{-1}=(X_2'M_{X_1}X_2)^{-1}$

M_{X_{1}} = I - X_{1} (X_{1}^{'} X_{1})^{- 1} X_{1}^{'}

$M_{X_1}=I-X_1(X_1'X_1)^{-1}X_1'$

Таким чином, чисельник статистики стає (без ділення на ) Далі, нагадаємо, що за теоремою Фріша-Во-Ловелла ми можемо записати так що $F$ $q$

Ж_{н у м} = {\hat{β}}_{ols, 2}^{'} (Х_{2}^{'} М_{Х_{1}} Х_{2}) {\hat{β}}_{ols, 2}

$F_{num}=\hat{\beta}_{\text{ols},2}'(X_2'M_{X_1}X_2)\hat{\beta}_{\text{ols},2}$

{\hat{β}}_{ols, 2} = (Х_{2}^{'} М_{Х_{1}} Х_{2})^{- 1} Х_{2}^{'} М_{Х_{1}} у

$\hat{\beta}_{\text{ols},2}=(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y$

\begin{aligned} Ж_{н у м} & = у^{'} М_{Х_{1}} Х_{2} (Х_{2}^{'} М_{Х_{1}} Х_{2})^{- 1} (Х_{2}^{'} М_{Х_{1}} Х_{2}) (Х_{2}^{'} М_{Х_{1}} Х_{2})^{- 1} Х_{2}^{'} М_{Х_{1}} у \\ = у^{'} М_{Х_{1}} Х_{2} (Х_{2}^{'} М_{Х_{1}} Х_{2})^{- 1} Х_{2}^{'} М_{Х_{1}} у \end{aligned}

$\begin{align*} F_{num}&=y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}(X_2'M_{X_1}X_2)(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y\\ &=y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y \end{align*}$

Залишається показати, що цей чисельник ідентичний , різниці в необмеженій та обмеженій сумі квадратних залишків. $\text{USSR}-\text{RSSR}$

Тут - залишкова сума квадратів від регресування на , тобто з накладеним . У вашому спеціальному випадку це просто , залишки регресії на константі.

РРСР = у^{'} М_{Х_{1}} у

$\text{RSSR}=y'M_{X_1}y$

y

$y$

X_{1}

$X_1$

H_{0}

$H_0$

T S S = \sum_{i} (y_{i} - \bar{y})^{2}

$TSS=\sum_i(y_i-\bar y)^2$

Знову використовуючи FWL (що також показує, що залишки двох підходів однакові), ми можемо записати (SSR у ваших позначеннях) як SSR регресії $\text{USSR}$

М_{Х_{1}} у на М_{Х_{1}} Х_{2}

$M_{X_1}y\quad\text{on}\quad M_{X_1}X_2$

Тобто

\begin{array}{rcl} СРСР & = & у^{'} М_{Х_{1}}^{'} М_{М_{Х_{1}} Х_{2}} М_{Х_{1}} у \\ = & у^{'} М_{Х_{1}}^{'} (Я - П_{М_{Х_{1}} Х_{2}}) М_{Х_{1}} у \\ = & у^{'} М_{Х_{1}} у - у^{'} М_{Х_{1}} М_{Х_{1}} Х_{2} ((М_{Х_{1}} Х_{2})^{'} М_{Х_{1}} Х_{2})^{- 1} (М_{Х_{1}} Х_{2})^{'} М_{Х_{1}} у \\ = & у^{'} М_{Х_{1}} у - у^{'} М_{Х_{1}} Х_{2} (Х_{2}^{'} М_{Х_{1}} Х_{2})^{- 1} Х_{2}^{'} М_{Х_{1}} у \end{array}

$\begin{eqnarray*} \text{USSR}&=&y'M_{X_1}'M_{M_{X_1}X_2}M_{X_1}y\\ &=&y'M_{X_1}'(I-P_{M_{X_1}X_2})M_{X_1}y\\ &=&y'M_{X_1}y-y'M_{X_1}M_{X_1}X_2((M_{X_1}X_2)'M_{X_1}X_2)^{-1}(M_{X_1}X_2)'M_{X_1}y\\ &=&y'M_{X_1}y-y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y \end{eqnarray*}$

Таким чином,

\begin{array}{rcl} РРСР - СРСР & = & у^{'} М_{Х_{1}} у - (у^{'} М_{Х_{1}} у - у^{'} М_{Х_{1}} Х_{2} (Х_{2}^{'} М_{Х_{1}} Х_{2})^{- 1} Х_{2}^{'} М_{Х_{1}} у) \\ = & у^{'} М_{Х_{1}} Х_{2} (Х_{2}^{'} М_{Х_{1}} Х_{2})^{- 1} Х_{2}^{'} М_{Х_{1}} у \end{array}

$\begin{eqnarray*} \text{RSSR}-\text{USSR}&=&y'M_{X_1}y-(y'M_{X_1}y-y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y)\\ &=&y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y \end{eqnarray*}$

— Крістоф Ганк
джерело

Спасибі. Я не знаю, чи вважається це рукостисканням в даний момент, але як ви переходите від вашої суми квадратних бет до виразу, що містить суму квадратів?

— користувач1627466

@ user1627466 я додав виведення еквівалентності двох формул.

— Крістоф Ганк

@ChristophHanck дав дуже вичерпну відповідь, тут я додам ескіз доказів про окрему справу згаданої ОП. Сподіваємось, це також легше наслідувати початківцям.

Випадкова величина якщо де і є незалежними. Таким чином, щоб показати, що -statistic має -розподіл, ми можемо також показати, що і для деякої постійної , і що вони незалежні. $Y\sim F_{d_1,d_2}$

Y = \frac{Х_{1} / г_{1}}{Х_{2} / г_{2}},

$Y=\frac{X_1/d_1}{X_2/d_2},$

X_{1} \sim χ_{d_{1}}^{2}

$X_1\sim\chi^2_{d_1}$

X_{2} \sim χ_{d_{2}}^{2}

$X_2\sim\chi^2_{d_2}$

F

$F$

F

$F$

c ESS \sim χ_{p - 1}^{2}

$c\text{ESS}\sim\chi^2_{p-1}$

c RSS \sim χ_{n - p}^{2}

$c\text{RSS}\sim\chi^2_{n-p}$

c

$c$

У моделі OLS пишемо де - матриця , а в ідеалі . Для зручності введемо матрицю капелюхів (зверніть увагу ) та залишковий виробник . Важливі властивості і полягають у тому, що вони є одночасно симетричними та ідентичними. Крім того, у нас є і , вони стануть у нагоді пізніше.

у = Х β + ε,

$y=X\beta+\varepsilon,$

X

$X$

n \times p

$n\times p$

ε \sim N_{n} (0, σ^{2} I)

$\varepsilon\sim N_n(\mathbf{0}, \sigma^2I)$

H = X (X^{T} X)^{- 1} X^{T}

$H=X(X^TX)^{-1}X^{T}$

\hat{y} = H y

$\hat{y}=Hy$

M = I - H

$M=I-H$

H

$H$

M

$M$

tr (H) = p

$\operatorname{tr}(H)=p$

H X = X

$HX=X$

Позначимо матрицю всіх як , суму квадратів можна виразити квадратичними формами:Зауважимо , що . Можна переконатися, що є idempotent і . Як випливає з цього то , що також ідемпотентна і . $J$

TSS = у^{Т} (Я - \frac{1}{н} J) у, RSS = у^{Т} М у, ESS = у^{Т} (Н - \frac{1}{н} J) у .

$\text{TSS}=y^T\left(I-\frac{1}{n}J\right)y,\quad\text{RSS}=y^TMy,\quad\text{ESS}=y^T\left(H-\frac{1}{n}J\right)y.$

M + (H - J / n) + J / n = I

$M+(H-J/n)+J/n=I$

J / n

$J/n$

rank (M) + rank (H - J / n) + rank (J / n) = n

$\operatorname{rank}(M)+\operatorname{rank}(H-J/n)+\operatorname{rank}(J/n)=n$

H - J / n

$H-J/n$

M (H - J / n) = 0

$M(H-J/n)=0$

Тепер ми можемо показати, що -statistic має -розподіл (шукати теорему Кокрана для отримання додаткової інформації). Тут нам потрібні два факти: $F$ $F$

Нехай . Припустимо, симетричний з рангом і є ідентичним, тоді , тобто не центральний з df і нецентральністю . Це особливий випадок результату Бальдессарі , доказ можна також знайти тут . $x\sim N_n(\mu,\Sigma)$ $A$ $r$ $A\Sigma$ $x^TAx\sim\chi^2_r(\mu^TA\mu/2)$ $\chi^2$ $r$ $\mu^TA\mu/2$
Нехай . Якщо , то і є незалежними. Це відомо як теорема Крейга . $x\sim N_n(\mu,\Sigma)$ $A\Sigma B=0$ $x^TAx$ $x^TBx$

Оскільки , у нас єОднак, під нульовою гіпотезою , так дійсно . З іншого боку, зверніть увагу , що так . Тому . Оскільки , та також не залежать. Це відразу випливає потім $y\sim N_n(X\beta,\sigma^2I)$

\frac{ESS}{σ^{2}} = {(\frac{у}{σ})}^{Т} (Н - \frac{1}{н} J) \frac{у}{σ} \sim χ_{p - 1}^{2} ((Х β)^{Т} (Н - \frac{J}{н}) Х β) .

$\frac{\text{ESS}}{\sigma^2}=\left(\frac{y}{\sigma}\right)^T\left(H-\frac{1}{n}J\right)\frac{y}{\sigma}\sim\chi^2_{p-1}\left((X\beta)^T\left(H-\frac{J}{n}\right)X\beta\right).$

β = 0

$\beta=\mathbf{0}$

ESS / σ^{2} \sim χ_{p - 1}^{2}

$\text{ESS}/\sigma^2\sim\chi^2_{p-1}$

y^{T} M y = ε^{T} M ε

$y^TMy=\varepsilon^TM\varepsilon$

H X = X

$HX=X$

RSS / σ^{2} \sim χ_{n - p}^{2}

$\text{RSS}/\sigma^2\sim\chi^2_{n-p}$

M (H - J / n) = 0

$M(H-J/n)=0$

ESS / σ^{2}

$\text{ESS}/\sigma^2$

RSS / σ^{2}

$\text{RSS}/\sigma^2$

Ж = \frac{(TSS - RSS) / (p - 1)}{RSS / (н - p)} = \frac{\frac{ESS}{σ^{2}} / (p - 1)}{\frac{RSS}{σ^{2}} / (н - p)} \sim Ж_{p - 1, н - p} .

$F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}=\frac{\dfrac{\text{ESS}}{\sigma^2}/(p-1)}{\dfrac{\text{RSS}}{\sigma^2}/(n-p)}\sim F_{p-1,n-p}.$

— Франциск
джерело