Як регресія, t-тест і ANOVA всі версії загальної лінійної моделі?

49

Як вони всі версії одного основного статистичного методу?

пов'язане: Чому ANOVA викладають / використовують так, ніби це інша методологія дослідження порівняно з лінійною регресією?

— Хайтао Ду

пов'язані: R: Анова та лінійна регресія

— Хайтао Ду

пов'язано: Чому ANOVA еквівалентний лінійній регресії?

— Хайтао Ду

47

Вважайте, що всі вони можуть бути записані як рівняння регресії (можливо, з дещо іншими інтерпретаціями, ніж їх традиційні форми).

Регресія:

Y = β_{0} + β_{1} Х_{(безперервний)} + ε де ε \sim N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(continuous)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

t-тест:

Y = β_{0} + β_{1} Х_{(фіктивний код)} + ε де ε \sim N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

ANOVA:

Y = β_{0} + β_{1} Х_{(фіктивний код)} + ε де ε \sim N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

Прототипічна регресія концептуалізована з як безперервна змінна. Однак єдине припущення, яке насправді зроблено щодо - це те, що це вектор відомих констант. Це може бути суцільна змінна, але це також може бути фіктивним кодом (тобто, вектором 'і ', який вказує, чи є спостереження членом зазначеної групи - наприклад, групи лікування). Таким чином, у другому рівнянні може бути таким манекеновим кодом, і значення p було б таким самим, як у t-тесту в його більш традиційному вигляді. $X$ $X$ $0$ $1$ $X$

Сенс бета тут би різнився. У цьому випадку буде середнім для контрольної групи (для якої записи у фіксованій змінній дорівнюватимуть 's), а - різниця між середнім показником групи лікування та середнім показником контролю групи. $\beta_0$ $0$ $\beta_1$

Тепер пам’ятайте, що цілком розумно мати / запускати ANOVA лише з двома групами (хоча t-тест був би більш поширеним), і у вас все три підключені. Якщо ви хочете бачити, як це буде працювати, якби у вас була ANOVA з 3 групами; це було б: Зауважте, що коли у вас є груп, у вас є фіктивних кодів для їх представлення. Референтна група (як правило, контрольна група) позначається, маючи 'длявсіхманекенових кодів (в даному випадку обидва фіктивний код 1 і макетний код 2). У цьому випадку ви не хочете інтерпретувати р-значення t-тестів для цих бета-файлів, які постачаються зі стандартним статистичним результатом - вони лише вказують, чи відрізняється зазначена група від контрольної групипри оцінці ізольовано

Y = β_{0} + β_{1} X_{(dummy code 1)} + β_{2} X_{(dummy code 2)} + ε where ε \sim N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code 1)}} + \beta_2X_{\text{(dummy code 2)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

g

$g$

g - 1

$g-1$

0

$0$ . Тобто ці тести не є незалежними. Натомість, ви хочете оцінити, чи змінюються засоби групи, побудувавши таблицю ANOVA та провевши F-тест. Для чого це варто, бета-інтерпретація трактується так само, як у версії t-тесту, описаній вище:

- це середнє значення контрольної / контрольної групи,

вказує на різницю між засобами групи 1 та референтною групою, а

позначає різницю між групою 2 та референтною групою.

β_{0}

$\beta_0$

β_{1}

$\beta_1$

β_{2}

$\beta_2$

У світлі коментарів @ whuber, наведених нижче, вони також можуть бути представлені за допомогою матричних рівнянь:
Представлений таким чином, & - вектори довжини , а - вектор довжини . тепер є матрицею з рядків та стовпців. У прототипічній регресії у вас є безперервні змінні та перехоплення. Таким чином, ваш

Y = X β + ε

$\bf Y=\bf X\boldsymbol\beta + \boldsymbol\varepsilon$

Y

$\bf Y$

ε

$\boldsymbol\varepsilon$

N

$N$

β

$\boldsymbol\beta$

p + 1

$p+1$

X

$\bf X$

N

$N$

(p + 1)

$(p+1)$

p

$p$

X

$X$

X

$\bf X$ матриця складається з серії векторів стовпців поряд, по одному для кожної змінної

, стовпцем

's вліво зліва для перехоплення.

X

$X$

1

$1$

Якщо ви таким чином представляєте ANOVA з групами, пам’ятайте, що у вас були б манекенні змінні вказують на групи, при цьому референтна група позначається спостереженням, що має s у кожній макетній змінній. Як і вище, у вас все одно буде перехоплення. Таким чином, . $g$ $g-1$ $0$ $p=g-1$

— gung - Відновити Моніку
джерело

1

Рівняння ANOVA має сенс як ANOVA (а не t-тест), лише якщо

інтерпретується як вектор і множиться праворуч.

β_{1}

$\beta_1$

— whuber

Це не матричні рівняння; Я рідко використовую їх тут, оскільки багато людей їх не читають. Перша ANOVA являє собою ідентичну ситуацію, що і попередній t-тест. Я просто вказую, що якщо ви можете запустити 2-зразковий незалежний t-тест, ви можете запустити ті самі дані, що й ANOVA (які багато людей повинні розпізнати / запам'ятати зі свого статистичного класу 101). Я додаю ще одну версію ANOVA з 3 групами нижче, щоб уточнити, що ситуація з 2 групами не є єдиним випадком ANOVA, який можна зрозуміти як регресію; але рівняння reg тепер виглядає інакше - я намагався підтримувати більш явну паралель вище.

— gung - Відновіть Моніку

Моя думка полягає в тому, що, якщо ви не зробите це матричним рівнянням, ваша характеристика ANOVA занадто обмежена, щоб бути корисною: вона ідентична вашій характеристиці t-тесту і тому є більш заплутаною, ніж корисною. Коли ви починаєте вводити більше груп, ви раптом змінюєте рівняння, яке також може бути менш зрозумілим. Чи хочете ви використовувати матричні позначення, звичайно, залежить від вас, але в інтересах доброго спілкування вам слід прагнути до послідовності.

— whuber

Поясніть, будь ласка, трохи більше про те, як ви переходите від популярного визначення t-тесту до показаного рівняння. В основному я не можу зрозуміти, що тут Y (це може бути наївність чи менший IQ для статистики). Однак як перейти від t = (yx-u0) / s до цього рівняння.

— Гаурав Сінгхал

Це не так, хоча це може бути вам незнайоме.

є безперервним (і вважається умовно нормальним) у всіх перелічених випадках. Про

немає ніяких розподільних припущень , це може бути суцільна, дихотомна або багаторівнева категоріальна змінна.

Y

$Y$

X

$X$

— gung - Відновити Моніку

16

Усі вони можуть бути записані як окремі випадки загальної лінійної моделі.

T-тест - це двовимірний випадок ANOVA. Якщо ви квадратєте статистику t-тесту, ви отримаєте відповідне у ANOVA. $F$

Модель ANOVA - це лише модель регресії, де рівні факторів представлені фіктивними (або індикаторними ) змінними .

Отже, якщо модель для t-тесту є підмножиною моделі ANOVA, а ANOVA є підмножиною моделі множинної регресії, сама регресія (та інші речі, крім регресії) - це підмножина загальної лінійної моделі , яка поширює регресію на більш загальна специфікація терміну помилки , ніж звичайний регресійного випадку (який є «незалежним» і «рівний дисперсією»), і в багатовимірному . $Y$

Ось приклад , який показує еквівалентність звичайного (рівного-дисперсії) два ственном зразку аналізу і оцінки гіпотез в моделі регресії, укладену в R (фактичні дані виглядає в парі, так що це на самому ділі не підходить аналіз) : $t$

> t.test(extra ~ group, var.equal=TRUE, data = sleep) 

    Two Sample t-test

data:  extra by group
t = -1.8608, df = 18, p-value = 0.07919   
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -3.363874  0.203874
sample estimates:
mean in group 1 mean in group 2 
           0.75            2.33

Зверніть увагу на значення р 0,079 вище. Ось один із способів anova:

> summary(aov(extra~group,sleep))
            Df Sum Sq Mean Sq F value Pr(>F)  
group        1  12.48  12.482   3.463 0.0792 
Residuals   18  64.89   3.605

Тепер про регресію:

> summary(lm(extra ~ group, data = sleep))

(деякий вихід видалено)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)  
(Intercept)   0.7500     0.6004   1.249   0.2276  
group2        1.5800     0.8491   1.861   0.0792 .
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.899 on 18 degrees of freedom
Multiple R-squared:  0.1613,    Adjusted R-squared:  0.1147 
F-statistic: 3.463 on 1 and 18 DF,  p-value: 0.07919

Порівняйте значення р у рядку 'group2', а також p-значення для F-тесту в останньому рядку. Для двосхилого тесту вони однакові і обидва відповідають результату t-тесту.

Далі, коефіцієнт для 'group2' являє собою різницю середніх значень для двох груп.

— Glen_b
джерело

Маючи однакові значення p у всіх трьох сценаріях, це магічно та вражаюче, однак, якщо ви могли б пояснити трохи більше про те, як розраховуються ці p-значення, це, безумовно, зробить цю відповідь цікавішою . Я не знаю, чи відображення розрахунків p-значення також зробить його і кориснішим , так що ви могли вирішити щось.

— Гаурав Сінгал

@Gaurav Значення р однакові, тому що ви тестуєте ту саму гіпотезу на одній і тій же моделі, просто представлену трохи по-іншому. Якщо вас цікавить, як розраховується якесь конкретне p-значення, це було б новим питанням (це не буде відповіді на запитання тут). Ви можете задати таке питання, хоча спробуйте спочатку здійснити пошук, оскільки на нього вже можна відповісти.

— Glen_b

Дякую @Glen_b, вибачте за те, що задали очевидне запитання, і це теж не найкращим чином. А ви все ж відповіли на моє запитання - "однакова гіпотеза щодо тієї ж моделі (та / або даних)". Я не надто роздумував над тим, як вони перевіряють ту саму гіпотезу. Спасибі

— Gaurav Singhal

2

Ця відповідь, яку я опублікував раніше, є дещо актуальною, але це питання дещо інше.

[\begin{matrix} Y_{1} \\ ⋮ \\ Y_{н} \end{matrix}] = [\begin{matrix} 1 & х_{1} \\ 1 & х_{2} \\ 1 & х_{3} \\ ⋮ & ⋮ \\ 1 & х_{н} \end{matrix}] [\begin{matrix} α_{0} \\ α_{1} \end{matrix}] + [\begin{matrix} ε_{1} \\ ⋮ \\ ⋮ \\ ε_{н} \end{matrix}]

$\begin{bmatrix} Y_1 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ 1 & x_3 \\ \vdots & \vdots \\ 1 & x_n \end{bmatrix} \begin{bmatrix} \alpha_0 \\ \alpha_1 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \vdots \\ \vdots \\ \varepsilon_n \end{bmatrix}$

[\begin{matrix} Y_{1} \\ ⋮ \\ Y_{н} \end{matrix}] = [\begin{matrix} 1 & 0 & 0 & \dots & 0 \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & 0 & 0 & \dots & 0 \\ 0 & 1 & 0 & \dots & 0 \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 0 & 1 & 0 & \dots & 0 \\ 0 & 0 & 1 & \dots & 0 \\ ⋮ & ⋮ \\ ⋮ & ⋮ \end{matrix}] [\begin{matrix} α_{0} \\ ⋮ \\ α_{к} \end{matrix}] + [\begin{matrix} ε_{1} \\ ⋮ \\ ⋮ \\ ε_{н} \end{matrix}]

$\begin{bmatrix} Y_1 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 1 & 0 & 0 & \cdots & 0 \\ \hline 0 & 1 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 0 & 1 & 0 & \cdots & 0 \\ \hline 0 & 0 & 1 & \cdots & 0 \\ \vdots & & & & \vdots \\ \vdots & & & & \vdots \end{bmatrix} \begin{bmatrix} \alpha_0 \\ \vdots \\ \alpha_k \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \vdots \\ \vdots \\ \varepsilon_n \end{bmatrix}$

— Майкл Харді
джерело

2

Деякі описи та коментарі до питань будуть корисними для читачів, оскільки тепер вони мають здогадуватися, звідки вони взялися і як вони ставляться до питання ...

— Тім

0

Anova схожий на t-тест на рівність засобів при допущенні невідомих, але однакових відмінностей між методами лікування. Це пояснюється тим, що в ANOVA MSE є ідентичним зведеним варіантом, використовуваним у t-тесті. Існують і інші версії t-тесту, такі як одна для нерівних варіацій і пара-t-тест. З цього погляду t-тест може бути більш гнучким.

— пемфір
джерело