Чому для гіпотези використовується тестування коефіцієнта лінійної регресії для розподілу Т?

17

На практиці звичайне використання стандартного Т-тесту для перевірки значущості коефіцієнта лінійної регресії. Механіка розрахунку має для мене сенс.

Чому так, що розподіл Т можна використовувати для моделювання стандартної статистики тесту, яка використовується при тестуванні гіпотез лінійної регресії? Стандартна тестова статистика, про яку я маю на увазі тут:

T_{0} = \frac{\hat{β} - β_{0}}{S E (\hat{β})}

$T_{0} = \frac{\widehat{\beta} - \beta_{0}}{SE(\widehat{\beta})}$

— Нейт Парке
джерело

Повна і повна відповідь на це питання буде досить довгою, я впевнений. Тож поки ви чекаєте, коли хтось вирішить це, ви можете отримати досить гарне уявлення про те, чому це так, переглянувши деякі замітки, які я знайшов тут в Інтернеті: onlinecourses.science.psu.edu/stat501/node/297 . Зазначимо конкретно, що

.

t_{(n - p)}^{2} = F_{(1, n - p)}

$t^2_{(n−p)}=F_{(1,n−p)}$

— СтатистикаСтудент

1

Я не можу повірити, що це не дублікат, і все-таки всі відгуки (і на запитання, і на відповіді) ... А що з цим ? Або, можливо, це не дублікат, а це означає, що існують (або існували до сьогодні) над основні теми, які не висвітлювалися протягом майже семи років існування перехресної перевірки ... Нічого ...

— Річард Харді

@RichardHardy Хм, це звучить як дублікат. Хоча це більш багатослівним, питання в тому , а саме: «Як я можу довести , що для , $\hat\beta_i$ " $\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$

— Палій

26

Щоб зрозуміти , чому ми використовуємо розподіл Стьюдента, ви повинні знати , що лежить в основі розподілу і залишкової суми квадратів ( ) , оскільки ці два разом узяті дасть вам розподіл Стьюдента. $\widehat{\beta}$ $RSS$

Легше частина є розподіл , яке є нормальним розподілом - бачити це примітка , що = , так що лінійна функція , де . В результаті він також розподілений $\widehat{\beta}$ $\widehat{\beta}$ $(X^{T}X)^{-1}X^{T}Y$ $Y$ $Y\sim N(X\beta, \sigma^{2}I_{n})$ - дайте мені знатиякщо вам потрібна допомога виведення розподілу . $\widehat{\beta} \sim N(\beta, \sigma^{2}(X^{T}X)^{-1})$ $\widehat{\beta}$

Крім того, , де - кількість спостережень, а - кількість параметрів, використаних у вашій регресії. Докази цього є дещо більше, але також просто вивести (див. Доказ тут. Чому RSS розподіляється чі квадратними разів np? ). $RSS \sim \sigma^{2}\chi^{2}_{n-p}$ $n$ $p$

До цього моменту я не розглянув всі в матрицю / вектор позначення, але давайте для простоти використання і використовувати його нормальний розподіл , яке дасть $\widehat{\beta}_{i}$

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$

Крім того, з розподілу чи-квадрата маємо, що: $RSS$

\frac{(n - p) s^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\begin{equation} \frac{(n-p)s^{2}}{\sigma^{2}} \sim \chi^{2}_{n-p} \end{equation}$

Це було просто перестановкою першого виразу chi-квадрата і не залежить від . Додатково визначимо $N(0,1)$ , що є неупередженим оцінкою для. За визначеннямвизначення, що ділення нормального розподілу на незалежне чи-квадрат (над його ступенями свободи) дає t-розподіл (для доказу див.:Норма, розділене на $s^{2}=\frac{RSS}{n-p}$ $\sigma^{2}$ $t_{n-p}$ дає t-розподіл - доказ $\sqrt{\chi^2(s)/s}$ ), ви отримуєте це:

\frac{{\hat{β}}_{i} - β_{i}}{s \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim t_{n - p}

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{s\sqrt{(X^{T}X)^{-1}_{ii}}} \sim t_{n-p} \end{equation}$

Де . $s\sqrt{(X^{T}X)^{-1}_{ii}}=SE(\widehat{\beta}_{i})$

Повідомте мене, чи має це сенс.

— францій87d
джерело

яка чудова відповідь! НЕ могли б ви пояснити , чому

?

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$

— KingDingeling

4

Відповідь насправді дуже проста: ви використовуєте t-розподіл, оскільки він був майже розроблений спеціально для цієї мети.

$x_1,x_2,\dots,x_n$ $\bar x=\sum_{i=1}^n x_i/n$ $\bar x$

$\sigma$ $\xi=(\bar x-\mu)\sqrt n/\sigma$ $\mathcal N(0,1)$ . The trouble's that you usually do not know $\sigma$ , and can only estimate it $\hat\sigma$ . So, Gosset figured out the distribution when you substitute $\sigma$ with $\hat\sigma$ in the denominator, and the distribution is now called after his pseduonym "Student t".

The technicalities of linear regression lead to a situation where we can estimate the standard error $\hat\sigma_\beta$ of the coefficient estimate $\hat\beta$ , but we do not know the true $\sigma$ , therefore Student t distribution is applied here too.

— Aksakal
джерело