Який зв’язок між ANOVA для порівняння засобів декількох груп та ANOVA для порівняння вкладених моделей?

12

Я досі бачив, як ANOVA використовується двома способами:

По-перше , у моєму вступному тексті статистики ANOVA було введено як спосіб порівняння засобів трьох або більше груп, як поліпшення порівняно з парним порівнянням, щоб визначити, чи має один із засобів статистично значущу різницю.

По-друге , у своєму статистичному навчальному тексті я бачив, як ANOVA використовувався для порівняння двох (або більше) вкладених моделей, щоб визначити, чи Модель 1, яка використовує підмножину передбачувачів моделі 2, однаково добре відповідає даним, або якщо повна Модель 2 перевершує.

Тепер я припускаю, що в тій чи іншій мірі ці дві речі насправді дуже схожі, оскільки вони обидва використовують тест ANOVA, але на поверхні вони здаються мені зовсім іншими. Для однієї перше використання порівнює три або більше груп, тоді як другий метод може бути використаний для порівняння лише двох моделей. Хтось, будь ласка, не міг з’ясувати зв’язок між цими двома напрямами?

— Остін
джерело

3

Коротко кажучи, я думаю, що друга "anova" зовсім не ANOVA (якщо ви читаєте en.wikipedia.org/wiki/Analysis_of_variance, ви не побачите жодної згадки про порівняння вкладених моделей). Це en.wikipedia.org/wiki/F-test , який реалізується в R як anova()функція, тому що перший, справжній, ANOVA також використовує F-тест. Це призводить до плутанини термінології.

— амеба

Дякую, я думаю, ти вдарив цвях по голові! Я не вважав, що ця anova()функція може виконувати більше, ніж просто ANOVA. Ця публікація підтримує ваш висновок: stackoverflow.com/questions/20128781/f-test-for-two-models-in-r

— Остін

1

Мене навчав статистик, що ANOVA як багатопробовий тест - це те саме, що і для ANOVA, як тест на власність вкладеної моделі. На те, наскільки я розумію, те саме означає, що ми порівнюємо суму (або середню) залишків, що виникають внаслідок відсутності моделі чи простішої моделі, із залишками, отриманими в результаті моделі, і F-тест застосовується в обох ситуаціях, враховуючи, що припущення виконані. Відповідь, яку я спробував, абсолютно в цьому. Мені самому було б цікаво зрозуміти зв’язок принаймні одного коефіцієнта lm, відмінного від нуля (одномодель F-статистика) та суми залишків.

— Олексій Бурнаков

11

На мій погляд, абстрактна інтуїція ANOVA полягає в наступному: Розкладає джерела дисперсії спостережуваної змінної в різних напрямках і досліджує відповідні внески. Якщо точніше, то розкладаємо карту тотожності на суму проекцій і досліджуємо, які проекції / напрямки вносять важливий внесок у пояснення дисперсії, а які ні. Теоретична основа - теорема Кокрана .

Щоб бути менш абстрактним, я закидаю другу форму, згадану ОП, в щойно описану рамку. Згодом я трактую першу форму як особливий випадок другої.

Розглянемо модель регресії з пояснювальними змінними (повна модель) та порівняємо її з обмеженою моделлю із змінними . WLOG, останні змінні повної моделі не включаються до обмеженої моделі. Питання, на яке відповіла ANOVA, - це $K$ $K-J$ $J$

"Чи можемо ми пояснити значно більшу дисперсію спостережуваної змінної, якщо включити додаткових змінних" $J$ ?

На це запитання дають відповідь, порівнюючи внески дисперсії перших змінних , наступних змінних та решти / нез'ясованої частини (залишкова сума квадратів). Це розкладання (отримане, наприклад, з теореми Кокрана) використовується для побудови F-тесту. Таким чином, можна проаналізувати зменшення (включивши більше змінних) у залишкову суму квадратів обмеженої моделі (що відповідає всі коефіцієнти, що відносяться до останніх змінних , дорівнюють нулю ), включивши більше змінних і отримують F-статистику Якщо значення досить велике, то дисперсія пояснюється додатковим $K-J$ $J$ $H_0:$ $J$

\frac{\frac{R S S_{r e s t r} - R S S_{f u l l}}{J}}{\frac{R S S_{f u l l}}{N - K}}

$\frac{ \frac{RSS_{restr} - RSS_{full}}{J} }{ \frac{RSS_{full}}{N-K} }$

J

$J$ змінні є значущими.

Тепер перша форма, згадана ОП , трактується як окремий випадок другої форми . Розглянемо три різні групи A, B і C із засобами , та . перевіряється шляхом порівняння дисперсії пояснюється регресією на перехопленні (обмежена модель) з дисперсією пояснюється повною моделлю , що містить вільний член, манекен для групи А, і соски для групи B. Отриманий F-статистика еквівалентний ANOVA- тест у Вікіпедії $\mu_A$ $\mu_B$ $\mu_C$ $H_0: \mu_A = \mu_B = \mu_C$

\frac{\frac{R S S_{i n t e r c e p t} - R S S_{d u m m i e s}}{2}}{\frac{R S S_{d u m m i e s}}{N - 3}}

$\frac{ \frac{RSS_{intercept} - RSS_{dummies}}{2} }{ \frac{RSS_{dummies}}{N-3} }$ . Знаменник дорівнює варіації в межах груп, чисельник дорівнює варіації між групами. Якщо варіація між групами більша, ніж варіація всередині груп, відкидається гіпотеза про те, що всі засоби рівні.

— bmbb
джерело

+1. Цікаво, чи погодились би ви з моїм зауваженням щодо термінології у коментарі тут: stats.stackexchange.com/questions/315979/#comment602611_315979 .

— амеба

Я, безумовно, згоден, що в термінології існує велика плутанина ;-). Кольорово я пов'язую ANOVA лише з першою формою ОП. Я щойно подивився на книгу Шеффе "Аналіз варіації", в якій згадуються "вкладені конструкції".

— bmbb

@bmbb, я б додав до вашого останнього коментаря це: простий випадок, коли ми порівнюємо вкладені lm-моделі, одна з яких - лише перехоплення. Те, що вразило мене про модель з перехопленням, - це те, що коли ми посилаємось на її залишки, ми справді посилаємось на її дисперсію, оскільки залишки обчислюються відносно змінної середньої величини (яка є перехопленням моделі), і вони є відхиленнями від середня вибірка. Таким чином, ми все ще робимо аналіз дисперсії у випадку вкладених моделей, навіть якщо ми формально аналізуємо залишки.

— Олексій Бурнаков

6

Якщо ви робите однобічну ANOVA для перевірки, чи є значна різниця між групами, то неявно ви порівнюєте дві вкладені моделі (тож існує лише один рівень вкладеності, але він все ще гніздовий).

Ці дві моделі:

Модель 0: Значення (з номером вибірки та номером групи) моделюються за розрахунковим середнім значенням усього вибірки. $y_{ij}$ $i$ $j$ $\hat{\beta}_0$ $y_{i j} = {\hat{β}}_{0} + ϵ_{i}$ $y_{ij} = \hat{\beta}_0 + \epsilon_i$
Модель 1: Значення моделюються за кошторисними засобами груп.

$\hat{\beta_j}$

$у_{i} = {\hat{β}}_{0} + {\hat{β}}_{j} + ϵ_{i}$ $y_i = \hat{\beta}_0 + \hat{\beta}_j + \epsilon_i$

Приклад порівняння засобів та еквівалентності вкладених моделей: візьмемо довжину сепалу (см) з набору даних про райдужну оболонку (якщо ми використовуємо всі чотири змінні, ми насправді могли б робити LDA чи MANOVA, як це робив Фішер у 1936 р.)

Загальні спостережувані та групові засоби:

\begin{matrix} {мк}_{т о т а л} & = 5.83 \\ {мк}_{с е т о с а} & = 5.01 \\ {мк}_{v е r с i c о л о r} & = 5,94 \\ {мк}_{v i r г i н i c а} & = 6.59 \end{matrix}

$\begin{array} \\ \mu_{total} &= 5.83\\ \mu_{setosa} &= 5.01\\ \mu_{versicolor} &= 5.94\\ \mu_{virginica} &= 6.59\\ \end{array}$

Який у формі моделі:

\begin{matrix} модель 1: & у_{i j} = 5.83 + ϵ_{i} \\ модель 2: & у_{i j} = 5.01 + {[\begin{matrix} 0 \\ 0,93 \\ 1.58 \end{matrix}]}_{j} + ϵ_{i} \end{matrix}

$\begin{array}\\ \text{model 1: }& y_{ij} = 5.83 + \epsilon_i\\ \text{model 2: }& y_{ij} = 5.01 + \begin{bmatrix} 0 \\ 0.93 \\ 1.58 \end{bmatrix}_j + \epsilon_i\\ \end{array}$

$\sum{\epsilon_i^2} = 102.1683$

$\sum{\epsilon_i^2} = 38.9562$

Таблиця ANOVA буде подібною (і неявно обчислити різницю між груповою сумою квадратів, яка становить 63,212 в таблиці з двома ступенями свободи):

> model1 <- lm(Sepal.Length ~ 1 + Species, data=iris)
> model0 <- lm(Sepal.Length ~ 1, data=iris)
> anova(model0, model1)
Analysis of Variance Table

Model 1: Sepal.Length ~ 1
Model 2: Sepal.Length ~ 1 + Species
  Res.Df     RSS Df Sum of Sq      F    Pr(>F)    
1    149 102.168                                  
2    147  38.956  2    63.212 119.26 < 2.2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Ж = \frac{\frac{R S S_{г i f f е r е н c е}}{D Ж_{г i f f е r е н c е}}}{\frac{R S S_{н е ш}}{D Ж_{н е ш}}} = \frac{\frac{63.212}{2}}{\frac{38.956}{147}} = 119.26

$F = \frac{\frac{RSS_{difference}}{DF_{difference}}}{\frac{RSS_{new}}{DF_{new}}} = \frac{\frac{63.212}{2}}{\frac{38.956}{147}} = 119.26$

набір даних, використаний у прикладі:

довжина пелюстки (см) для трьох різних видів квітів ірису

Iris setosa            Iris versicolor      Iris virginica
5.1                    7.0                    6.3
4.9                    6.4                    5.8
4.7                    6.9                    7.1
4.6                    5.5                    6.3
5.0                    6.5                    6.5
5.4                    5.7                    7.6
4.6                    6.3                    4.9
5.0                    4.9                    7.3
4.4                    6.6                    6.7
4.9                    5.2                    7.2
5.4                    5.0                    6.5
4.8                    5.9                    6.4
4.8                    6.0                    6.8
4.3                    6.1                    5.7
5.8                    5.6                    5.8
5.7                    6.7                    6.4
5.4                    5.6                    6.5
5.1                    5.8                    7.7
5.7                    6.2                    7.7
5.1                    5.6                    6.0
5.4                    5.9                    6.9
5.1                    6.1                    5.6
4.6                    6.3                    7.7
5.1                    6.1                    6.3
4.8                    6.4                    6.7
5.0                    6.6                    7.2
5.0                    6.8                    6.2
5.2                    6.7                    6.1
5.2                    6.0                    6.4
4.7                    5.7                    7.2
4.8                    5.5                    7.4
5.4                    5.5                    7.9
5.2                    5.8                    6.4
5.5                    6.0                    6.3
4.9                    5.4                    6.1
5.0                    6.0                    7.7
5.5                    6.7                    6.3
4.9                    6.3                    6.4
4.4                    5.6                    6.0
5.1                    5.5                    6.9
5.0                    5.5                    6.7
4.5                    6.1                    6.9
4.4                    5.8                    5.8
5.0                    5.0                    6.8
5.1                    5.6                    6.7
4.8                    5.7                    6.7
5.1                    5.7                    6.3
4.6                    6.2                    6.5
5.3                    5.1                    6.2
5.0                    5.7                    5.9

— Секст Емпірік
джерело

1

+1, але форматування таблиці даних як латексної таблиці - це дійсно погана практика !! Копіювати та вставляти його нікуди не можна! Якщо ви дійсно хочете включити дані, чому б не відформатувати їх як блок коду? Але в цьому випадку ви також можете посилатися на статтю Вікіпедії Фішера Іриса, яка містить дані.

— амеба

Крім того, що ви ставитесь до термінологічного питання, про яке я згадував у цьому коментарі stats.stackexchange.com/questions/315979/#comment602611_315979 ?

— амеба

1

Я не вірю, що нечітка термінологія - це велика проблема. У своїй думці я насправді ніколи не розглядаю ANOVA так багато, як порівняння дисперсії всередині і між групами, і завжди роблю ментальну проекцію порівнянням двох моделей. Я не вірю, що це велика проблема, оскільки f-розподіл, співвідношення двох незалежних розподілених змінних chi-квадрата, є в певному сенсі співвідношенням варіацій. Застосування f-тесту для вивчення вкладених моделей - це порівняння варіацій, аналіз варіантів, отже, ANOVA мені здається нормальним (я зараз намагаюся знайти деякі історичні посилання).

— Секст Емпірік

Я не кажу, що це проблема. Але мені цікаво, чи відноситься термін "ANOVA" до F-тесту, порівнюючи вкладені моделі лише в R (як я запропонував у своєму пов'язаному коментарі), чи це більш широка прийнята термінологія. Я не перевіряв підручники, тому мої свідчення надходять лише з Вікіпедії.

— амеба

У статистичних методах Фішера 1925 р. Для дослідників, коли він пояснює "аналіз дисперсії", він включає приклади, які застосовують техніку до регресійних ліній (але немає вкладених моделей).

— Секст Емпірік

1

Використання ANOVA в порівнянні між декількома моделями означає перевірити, чи принаймні один з коефіцієнтів, використовуваних у моделі з вищим порядком (і відсутній у моделі з нижчим порядком), суттєво відрізняється від нуля.

Це еквівалентно тому, що сума залишків для моделі вищого порядку значно менша, ніж для моделі нижчого порядку.

Йдеться про дві моделі, оскільки базове рівняння є

MSM/MSE

Де MSM - середнє значення квадратних залишків моделі нижчого порядку (де найнижчий порядок - середнє значення цільової змінної, тобто перехоплення).

( http://www.stat.yale.edu/Courses/1997-98/101/anovareg.htm )

Ви можете прочитати хоча подібні теми на резюме, як

Як використовувати anova для порівняння двох моделей?

— Олексій Бурнаков
джерело

ІМХО це не відповідає на питання.

— амеба

1

З того, що я дізнався,

Ви можете використовувати таблиці ANOVA, щоб визначити, чи фактично ваші пояснювальні змінні впливають на змінну відповідей, і таким чином підходять до відповідної моделі.

$x_1$ $x_2$ $x_2$

у = β_{0} + β_{1} х_{1} + β_{2} х_{2} + ϵ

$y=\beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

у = β_{0} + β_{1} х_{1} + ϵ

$y=\beta_0 + \beta_1x_1 + \epsilon$

$x_1$

Ось приклад виходу ANOVA для проекту, над яким я працюю в R, де я тестую дві моделі (одну із змінними днями, а одну без змінних днів):

Як бачимо, відповідне значення р у F-тесті становить 0,13, що перевищує 0,05. Таким чином, ми не можемо відкинути нульову гіпотезу, що Days не впливає на Y. Отже, я вибираю модель 1 над моделлю 2.

— JPMSpoof
джерело

ІМХО це не відповідає на питання.

— амеба