Розуміння t-тесту на лінійну регресію

Я намагаюся розробити тестування гіпотез на лінійній регресії (нульова гіпотеза не має кореляції). Кожен путівник і сторінка з теми, на яку я стикаюся, начебто використовують t-тест. Але я не розумію, що насправді означає t-тест на лінійну регресію. Т-тест, якщо я не маю абсолютно неправильного розуміння чи розумової моделі, використовується для порівняння двох груп. Але регресор і регрес і не є зразками подібних сукупностей і можуть навіть не бути однієї одиниці, тому порівнювати їх не має сенсу.

Отже, використовуючи t-тест на лінійній регресії, що ми насправді робимо?

Ви, напевно, думаєте про два зразки $t$ тесту, оскільки це найчастіше перше місце, коли приходить розподіл $t$ . Але на самому ділі все а $t$ засіб тестування є те , що розподіл посилання для тестової статистики є $t$ розподілом. Якщо $Z \sim \mathcal N(0,1)$ і $S^2 \sim \chi^2_d$ при $Z$ і $S^2$ незалежні, то

$$\frac{Z}{\sqrt{S^2 / d}} \sim t_d$$ за визначенням. Я пишу це, щоб підкреслити, щорозподіл$t$- це лише ім'я, яке було надано розподілу цього співвідношення, оскільки воно виходить багато, і все, що має форму, матиме$t$розподіл. Для двох вибіркових тестів це співвідношення з'являється, оскільки під нульовою різницею середніх значень є нульовий середній гаусс, а оцінка дисперсії для незалежних гауссів - незалежна$\chi^2$(незалежність може бути показана черезтеорему Басу який використовує той факт, що стандартна оцінка дисперсії в зразку Гаусса є допоміжною середньою сукупністю, тоді як середня вибірка повна і достатня для тієї самої кількості).

За допомогою лінійної регресії ми в основному отримуємо те саме. У векторній $\hat \beta \sim \mathcal N(\beta, \sigma^2 (X^T X)^{-1})$ . Нехай $S^2_j = (X^T X)^{-1}_{jj}$ і припустимо, що предиктори $X$ є невипадковими. Якби ми знали $\sigma^2$ ми матимемо & beta ; J - 0 під нулемH0:βj=0,щоб ми насправді мали тест Z. Але коли ми оцінюємоσ2микінцевому підсумку зχ2випадковою величиноющо при наших припущеннях нормальності, виявляється незалежними від нашої статистики бети Jа потім ми отримуємо

$$\frac{\hat \beta_j - 0}{\sigma S_j} \sim \mathcal N(0, 1)$$ $H_0 : \beta_j = 0$$\sigma^2$$\chi^2$$\hat \beta_j$$t$ розподіл.

---

Ось деталі цього: припустимо, . Нехай H = X ( X T X ) - 1 X T - матриця капелюхів, у яких ‖ e ‖ 2 = ‖ ( I - H ) y ‖ 2 = y T ( I - H ) y . H ідентичний, тому ми маємо справді приємний результат $y \sim \mathcal N(X\beta, \sigma^2 I)$$H = X(X^TX)^{-1}X^T$

$$\|e\|^2 = \|(I-H)y\|^2 = y^T(I-H)y.$$ $H$ з нецентральним параметром δ = β T X T ( I - H ) X β = β T ( X T X - X T X ) β = 0 , тому насправді це центральний χ 2 з n - $$y^T(I-H)y / \sigma^2 \sim \mathcal \chi_{n-p}^2(\delta)$$ $\delta = \beta^TX^T(I-H)X\beta = \beta^T(X^TX - X^T X)\beta = 0$$\chi^2$$n-p$ ступенями свободи (це особливий випадок теореми Кокрана ). Я використовую щоб позначити кількість стовпців X , тож якщо один стовпець X дає перехоплення, то у нас буде p - 1 непередбачених провідників. Деякі автори використовують p як кількість передбачувачів, що не перехоплюють, тому іноді ви можете побачити щось на зразок n - p - 1 у ступенях свободи, але все одно.$p$$X$$X$$p-1$$p$$n-p-1$

Результатом цього є те, що , так що σ 2 : = $E(e^Te / \sigma^2) = n-p$чудово працює як оцінювачσ2.$\hat \sigma^2 := \frac{1}{n-p} e^T e$$\sigma^2$

Це означає , що β J

$$\frac{\hat \beta_j}{\hat \sigma S_j}= \frac{\hat \beta_j}{S_j\sqrt{e^Te / (n-p)}} = \frac{\hat \beta_j}{\sigma S_j\sqrt{\frac{e^Te}{\sigma^2(n-p)}}}$$ - відношення стандартного гаусса до ква, поділеного на його ступеня свободи. Щоб закінчити це, нам потрібно показати незалежність, і ми можемо використовувати наступний результат:

Результат: для і матриць A і B в R l × k і R m × k відповідно, A Z і B Z є незалежними тоді і тільки тоді, коли A Σ B T = 0 (це вправа 58 (b) у главі 1 Математичної статистики Джуна Шао ).$Z \sim \mathcal N_k(\mu, \Sigma)$$A$$B$$\mathbb R^{l\times k}$$\mathbb R^{m\times k}$$AZ$$BZ$$A\Sigma B^T = 0$

Ми маємо β = ( X T X ) - 1 X Т у і е = ( Я - Н ) у , де у ~ N ( X β , сг 2 I ) . Це означає ( X T X ) - 1 X T ⋅ σ 2 I ⋅ ( I - H ) T = σ 2$\hat \beta = (X^TX)^{-1}X^T y$$e = (I-H)y$$y \sim \mathcal N(X\beta, \sigma^2 I)$ так & beta ; ⊥е, іотже , & beta ; ⊥ е Т е.

$$(X^TX)^{-1}X^T \cdot \sigma^2 I \cdot (I-H)^T = \sigma^2 \left((X^TX)^{-1}X^T - (X^TX)^{-1}X^TX(X^TX)^{-1}X^T\right) = 0$$ $\hat \beta \perp e$$\hat \beta \perp e^T e$

Результатом є тепер ми знаємо , бета J за бажанням (при всіх вищевказаних припущень).

$$\frac{\hat \beta_j}{\hat \sigma S_j} \sim t_{n-p}$$

---

$C = {A \choose B}$$(l+m)\times k$$A$$B$

$$CZ = {AZ \choose BZ} \sim \mathcal N \left({A\mu \choose B\mu}, C\Sigma C^T \right)$$ $$C\Sigma C^T = {A \choose B} \Sigma \left(\begin{array}{cc} A^T & B^T \end{array}\right) = \left(\begin{array}{cc}A\Sigma A^T & A\Sigma B^T \\ B\Sigma A^T & B\Sigma B^T\end{array}\right).$$ $CZ$ is a multivariate Gaussian and it is a well-known result that two components of a multivariate Gaussian are independent if and only if they are uncorrelated, so the condition $A\Sigma B^T = 0$ turns out to be exactly equivalent to the components $AZ$ and $BZ$ in $CZ$ being uncorrelated.

$\square$

@Chaconne's answer is great. But here is a much shorter nonmathematical version!

Since the goal is to compute a P value, you first need to define a null hypothesis. Almost always, that is that the slope is actually horizontal so the numerical value for the slope (beta) is 0.0.

The slope fit from your data is not 0.0. Is that discrepancy due to random chance or due to the null hypothesis being wrong? You can't ever answer that for sure, but a P value is one way to sort-of-kind-of get at an answer.

The regression program reports a standard error of the slope. Compute the t ratio as the slope divided by its standard error. Actually, it is (slope minus null hypothesis slope) divided by the standard error, but the null hypothesis slope is nearly always zero.

Now you have a t ratio. The number of degrees of freedom (df) equals the number of data points minus the number of parameters fit by the regression (two for linear regression).

With those values (t and df) you can determine the P value with an online calculator or table.

It is essentially a one-sample t-test, comparing an observed computed value (the slope) with a hypothetical value (the null hypothesis).