Різниця між t-тестом та ANOVA в лінійній регресії

Цікаво, які відмінності між t-тестом та ANOVA в лінійній регресії?

Це t-тест, щоб перевірити, чи має будь-який з схилів і перехоплення середній нуль, а ANOVA для того, щоб перевірити, чи всі схили мають середній нуль? Це єдина різниця між ними?
У простій лінійній регресії, тобто там, де існує лише одна змінна предиктора, існує лише один нахил для оцінки. Чи є еквівалент t-тесту та ANOVA, і якщо так, то як, враховуючи, що вони використовують різні статистичні дані (t-тест використовує t-статистику, а ANOVA використовує F-статистику)?

regression anova t-test

— Тім
джерело

Оголошення 1) У лінійній регресії я зазвичай розумію ANOVA як міру корисності придатності моделі, тобто вирішувати, чи пояснює модель (лінія регресії) значну частину загальної мінливості. Питання, чи еквівалентно тому, що всі схили дорівнюють нулю, насправді дуже цікавий. Оголошення 2) Схоже, я отримую майже однакові р-значення для t-тесту та регресії ANOVA в цьому випадку. Дійсно цікава теорема!

— цікаво

Відповіді:

Загальна лінійна модель дозволяє нам написати модель ANOVA як регресійну модель. Припустимо, що у нас є дві групи з двома спостереженнями, тобто чотири спостереження у векторі . Тоді оригінальною, надпараметризованою моделлю є , де - матриця предикторів, тобто манекенованих індикаторних змінних: $y$ $E(y) = X^{\star} \beta^{\star}$ $X^{\star}$

(\begin{matrix} {мк}_{1} \\ {мк}_{1} \\ {мк}_{2} \\ {мк}_{2} \end{matrix}) = (\begin{array}{ccc} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1 \end{array}) (\begin{matrix} β_{0}^{⋆} \\ β_{1}^{⋆} \\ β_{2}^{⋆} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{ccc}1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0}^{\star} \\ \beta_{1}^{\star} \\ \beta_{2}^{\star}\end{array}\right)$

Параметри не можуть бути ідентифіковані як оскільки має ранг 2 ( не є зворотним). Щоб змінити це, введемо обмеження (контрасти лікування), що дає нам нову модель : $((X^{\star})' X^{\star})^{-1} (X^{\star})' E(y)$ $X^{\star}$ $(X^{\star})'X^{\star}$ $\beta_{1}^{\star} = 0$ $E(y) = X \beta$

(\begin{matrix} {мк}_{1} \\ {мк}_{1} \\ {мк}_{2} \\ {мк}_{2} \end{matrix}) = (\begin{array}{cc} 1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1 \end{array}) (\begin{matrix} β_{0} \\ β_{2} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{cc}1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0} \\ \beta_{2}\end{array}\right)$

$\mu_{1} = \beta_{0}$ $\beta_{0}$ $\mu_{2} = \beta_{0} + \beta_{2}$ $\beta_{2}$ $\mu_{2} - \mu_{1}$

$t$ $\psi = \sum c_{j} \beta_{j}$ $\psi_{0}$ $c = (0, 1)'$ $\beta_{2} = 0$ $\mu_{2} - \mu_{1} = 0$ $\hat{\psi} = \sum c_{j} \hat{\beta}_{j}$ $\hat{\beta} = (X'X)^{-1} X' y$ $\psi$

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_{0}}{\hat{\sigma} \sqrt{c' (X'X)^{-1} c}}$

$\hat{\sigma}^{2} = \|e\|^{2} / (n-\mathrm{Rank}(X))$ $\|e\|^{2}$ $\mathrm{Rank}(X) = 2$ $(X'X)^{-1} X' = \left(\begin{smallmatrix}.5 & .5 & 0 & 0 \\-.5 & -.5 & .5 & .5\end{smallmatrix}\right)$ $\hat{\beta}_{0} = 0.5 y_{1} + 0.5 y_{2} = M_{1}$ $\hat{\beta}_{2} = -0.5 y_{1} - 0.5 y_{2} + 0.5 y_{3} + 0.5 y_{4} = M_{2} - M_{1}$ $c' (X'X)^{-1} c$

т = \frac{М_{2} - М_{1} - 0}{\hat{σ}} = \frac{М_{2} - М_{1}}{\sqrt{‖ е ‖^{2} / (н - 2)}}

$t = \frac{M_{2} - M_{1} - 0}{\hat{\sigma}} = \frac{M_{2} - M_{1}}{\sqrt{\|e\|^{2} / (n-2)}}$

$t$ $t$ $n - \mathrm{Rank}(X)$ $n-2$ $t$ $\frac{(M_{2} - M_{1})^{2} / 1}{\|e\|^{2} / (n-2)} = \frac{SS_{b} / df_{b}}{SS_{w} / df_{w}} = F$ $F$ $b$ $w$ $F$ $n - \mathrm{Rank}(X)$

$\beta_{j}$ $1 \leq j$ $\psi$

— каракал
джерело

У 1, ANOVA, як правило, перевіряє коефіцієнти змін фактора та незалежність того, чи є різниця між групами чи ні. Ви чітко побачите різницю, якщо ваше програмне забезпечення дозволяє змінювати індикаторні змінні в регресії: для кожної манекена ви отримуватимете значення ап, говорячи про те, що ця група суттєво відрізняється від 0, і, як наслідок, суттєво відрізняється від застосовуваної контрольної групи або довідкового значення. . Зазвичай ви не побачите, наскільки важливий сам показник, поки ви не зробите тест на ANOVA.

F-тест - це тест-квадрат. Тому в 2 це те саме.

— Праця
джерело

Дякую! (1) Що тут означають змінні індикатора? (2) Зазвичай t-тест еквівалентний ANOVA лише тоді, коли є лише дві групи. Але у простих лінійних регресіях може бути більше двох груп, де кількість груп - це кількість значень, які змінна прогноктора приймає в набір даних.

— Тім

(1) Показник або категоріальна чи факторна змінна ... все одно. (2) Дійсно, але ви, можливо, захочете дізнатись, наскільки набір манекенів / категорій балів від ANOVA.

— Праця

Дякую! (2) Отже, у простій лінійній регресії, як t-тест еквівалентний ANOVA, враховуючи, що існує більше двох груп? Що означає "наскільки добре набір манекенів / категорій балів від ANOVA" і чому я хочу це знати?

— Тім

У регресії OLS R² (пояснена дисперсія) буде дорівнює eta² або MSS / TSS від ANOVA незалежно від того, скільки груп ви визначаєте. Далі ви можете дізнатися про внесок набору манекенів (тобто змінної індикатора), щоб сказати, чи є сам набір релевантним і в якій мірі, що відрізняється від значущості різниці однієї категорії з еталонною категорією. .

— Праця