R: Анова та лінійна регресія

Я новачок у статистиці і намагаюся зрозуміти різницю між ANOVA та лінійною регресією. Я використовую R для дослідження цього. Я читав різні статті про те, чому ANOVA і регресія відрізняються, але все одно однакові, і як можна візуалізувати і т. Д. Я думаю, що я там симпатичний, але один біт все ще відсутній.

Я розумію, що ANOVA порівнює дисперсію в групах з дисперсією між групами, щоб визначити, є різниця між будь-якою з перевірених груп. ( https://controls.engin.umich.edu/wiki/index.php/Factor_analysis_and_ANOVA )

Для лінійної регресії я знайшов пост на цьому форумі, в якому сказано, що те саме можна перевірити, коли ми перевіряємо, чи b (нахил) = 0. ( Чому ANOVA викладається / використовується як ніби це інша методологія дослідження порівняно з лінійною регресією? )

Більше двох груп я знайшов веб-сайт із зазначенням:

Нульовою гіпотезою є:$\text{H}_0: µ_1 = µ_2 = µ_3$

Модель лінійної регресії: $y = b_0 + b_1X_1 + b_2X_2 + e$

Однак вихід лінійної регресії є перехопленням для однієї групи та різницею цього перехоплення для двох інших груп. ( http://www.real-statistics.com/multiple-regression/anova-using-regression/ )

Для мене це виглядає так, що насправді порівнюються перехоплення, а не нахили?

Інший приклад, де вони порівнюють перехоплення, а не схили, можна знайти тут: ( http://www.theanalysisfactor.com/why-anova-and-linear-regression-are-the-same-analysis/ )

Я зараз намагаюся зрозуміти, що насправді порівнюється в лінійній регресії? схили, перехоплення або обоє?

це виглядає так, що насправді порівнюються перехоплення, а не схили?

Ваша плутанина там пов’язана з тим, що ви повинні бути дуже обережними, щоб зрозуміти, які перехоплення та нахили ви маєте на увазі (перехоплення якого? Нахилу чого?).

Роль коефіцієнта манекена 0-1 у регресії можна розглядати як як нахил, так і як різницю перехоплення.

Давайте спростимо речі, наскільки це можливо, розглянувши вибірок з двох зразків.

Ми все ще можемо зробити однобічну ANOVA з двома зразками, але вона, по суті, виявляється такою ж, як двосхилий тест з двома пробами (випадок рівної дисперсії).

Ось схема ситуації з населенням:

Якщо , то лінійна модель населення є$\delta = \mu_2-\mu_1$

$y = \mu_1 + \delta x + e$

так що коли (що є випадком, коли ми перебуваємо в групі 1), середнє значення дорівнює і коли (коли ми в групі 2) , середнє значення дорівнює .$x=0$$y$$\mu_1 + \delta \times 0 = \mu_1$$x=1$$y$$\mu_1 + \delta \times 1 = \mu_1 + \mu_2 - \mu_1 = \mu_2$

Це коефіцієнт нахилу ( в даному випадку), і різниця в засобах (і ви можете вважати ці засоби як перехоплення) - однакова величина.$\delta$

Щоб допомогти в конкретності, ось два зразки:

Group1:  9.5  9.8 11.8
Group2: 11.0 13.4 12.5 13.9

Як вони виглядають?

Як виглядає тест на різницю в засобах?

Як t-тест:

    Two Sample t-test

data:  values by group
t = -5.0375, df = 5, p-value = 0.003976
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -4.530882 -1.469118
sample estimates:
mean in group g1 mean in group g2 
             9.9             12.9 

Як регресія:

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   9.9000     0.4502  21.991 3.61e-06 ***
groupg2       3.0000     0.5955   5.037  0.00398 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.7797 on 5 degrees of freedom
Multiple R-squared:  0.8354,    Adjusted R-squared:  0.8025 
F-statistic: 25.38 on 1 and 5 DF,  p-value: 0.003976

З регресії ми бачимо, що термін перехоплення - це середнє значення для групи 1, а коефіцієнт groupg2 (коефіцієнт «нахилу») - різниця в групових засобах. Між тим р-значення для регресії те саме, що p-значення для t-тесту (0,003976)