Як виправдати термін помилки у факторній ANOVA?

Напевно, дуже базове питання про багатофакторну ANOVA. Припустимо двосторонню конструкцію, де ми перевіряємо як основні ефекти A, B, так і взаємодію A: B. Під час тестування основного ефекту для A з SS типу I ефект SS обчислюється як різниця $RSS(1) - RSS(A)$ , де $RSS(1)$ - сума залишкової помилки квадратів для модель з просто перехопленням і RSS для моделі з фактором A додано. Моє запитання стосується вибору терміна помилки:$RSS(A)$

Як ви обґрунтовуєте, що термін помилки для цього тесту, як правило, обчислюється з RSS повної моделі A + B + A: B, що включає як основні ефекти, так і взаємодію?

... на відміну від прийняття терміна помилки з необмеженої моделі з фактичного порівняння (RSS від лише основного ефекту A у наведеному вище випадку):

Це має значення, оскільки термін помилки від повної моделі, ймовірно, часто (не завжди) менший, ніж термін помилки з необмеженої моделі в порівнянні. Здається, що вибір терміна помилки дещо довільний, створюючи місце для бажаних змін p-значення лише додаванням / видаленням факторів, які насправді не цікавлять, але все-таки змінюють термін помилки.

У наступному прикладі значення F для A значно змінюється залежно від вибору для повної моделі, хоча фактичне порівняння для ефекту SS залишається однаковим.

> DV  <- c(41,43,50, 51,43,53,54,46, 45,55,56,60,58,62,62,
+          56,47,45,46,49, 58,54,49,61,52,62, 59,55,68,63,
+          43,56,48,46,47, 59,46,58,54, 55,69,63,56,62,67)

> IV1 <- factor(rep(1:3, c(3+5+7, 5+6+4, 5+4+6)))
> IV2 <- factor(rep(rep(1:3, 3), c(3,5,7, 5,6,4, 5,4,6)))
> anova(lm(DV ~ IV1))                           # full model = unrestricted model (just A)
          Df  Sum Sq Mean Sq F value Pr(>F)
IV1        2  101.11  50.556  0.9342 0.4009
Residuals 42 2272.80  54.114

> anova(lm(DV ~ IV1 + IV2))                     # full model = A+B
          Df  Sum Sq Mean Sq F value   Pr(>F)    
IV1        2  101.11   50.56  1.9833   0.1509    
IV2        2 1253.19  626.59 24.5817 1.09e-07 ***
Residuals 40 1019.61   25.49                     

> anova(lm(DV ~ IV1 + IV2 + IV1:IV2))           # full model = A+B+A:B
          Df  Sum Sq Mean Sq F value    Pr(>F)    
IV1        2  101.11   50.56  1.8102    0.1782    
IV2        2 1253.19  626.59 22.4357 4.711e-07 ***
IV1:IV2    4   14.19    3.55  0.1270    0.9717    
Residuals 36 1005.42   27.93

Це ж питання стосується і типу II СС, і взагалі до загальної лінійної гіпотези, тобто порівняння моделі між обмеженою та необмеженою моделлю в межах повної моделі. (Для типу III SS необмежена модель завжди є повною моделлю, тому питання там не виникає)

Це дуже давнє запитання, і я вважаю, що відповідь @ gung дуже хороша (+1). Але оскільки це було не зовсім переконливо для @caracal, і оскільки я не повністю дотримуюся всіх його тонкощів, я хотів би надати просту фігуру, що ілюструє, наскільки я розумію проблему.

Розглянемо двосторонню ANOVA (фактор A має три рівні, фактор B має два рівні), причому обидва фактори є очевидно дуже значущими:

СС для фактора А величезна. Коефіцієнт SS для фактора B набагато менший, але з вищої цифри видно, що коефіцієнт B все-таки дуже важливий.

Помилка SS для моделі, що містить обидва фактори, представлена ​​одним із шести гауссів, і, порівнюючи SS для фактора B з цією помилкою SS, тест зробить висновок, що фактор B є значущим.

Помилка SS для моделі, що містить лише фактор B, однак, є масовою! Порівнюючи SS для фактора B з цією масовою помилкою SS, безумовно, це призведе до того, що B виявиться несуттєвим. Що явно не так.

Ось чому має сенс використовувати помилку SS від повної моделі.

Оновлення: Щоб уточнити деякі моменти, які я вказую, проходячи тут, я додав кілька посилань на місця, де більш повно обговорюю відповідні ідеї.

Тест F перевіряє, чи є більше змінності (конкретно середніх квадратів), пов'язаної з фактором, ніж можна було б очікувати випадково. Скільки варіацій ми можемо очікувати випадково, оцінюється з суми помилок у квадраті, тобто наскільки мінливість обумовлена ​​(пов'язаною з) невідомим фактором. Це ваші залишки, що залишилося після того, як вирахували все, про що знаєте. У вашому прикладі містить більше, ніж просто залишкова помилка, вона також містить мінливість через відомі фактори. Хоча теоретично відскакує певною мірою випадково, ця сума не теоретично визначається іншими відомими факторами ¹ . Таким чином, було б недоцільно використовувати S S A M S A M S A + B + A ∗ $RSS_{A}$$SS_{A}$$MS_{A}$як знаменник у вашому тесті F. Більше того, використання дає вам більше енергії, зменшуючи ймовірність помилки II типу і не повинно збільшувати помилку I типу. $MS_{A+B+A*B}$

У вашому запитанні є ще кілька питань. Ви згадуєте, що не завжди найнижчий, і у вашому прикладі . Це тому, що взаємодія насправді не пов'язана з будь-якою власною мінливістю. що мабуть, не більше ніж випадковість. Існує точна, але дещо складна формула, яка визначає, як змінюватиметься потужність, якщо в модель будуть включені чи виключені різні фактори. У мене його немає під рукою, але суть його проста: Коли ви включаєте інший фактор, RSS зменшується (даючи більше сил), але M S A + B + A ∗ B > M S A + B S S A ∗ B = 14,19 d f $RSS_{full}$$MS_{A+B+A*B} > MS_{A+B}$$SS_{A*B} = 14.19$$df_{R}$знижується також (даючи менше енергії). Баланс цього компромісу по суті визначається тим, чи справжні СС, пов'язані з цим фактором, чи лише через випадковість, що на практиці вільно вказується на те, чи є фактор значущим ² . Однак усунення факторів із моделі, які не мають суттєвого значення, щоб отримати правильний термін помилки, логічно еквівалентно процедурі автоматичного пошуку моделі, навіть якщо у вас немає програмного забезпечення, робити це автоматично для вас. Ви повинні знати, що існує багато проблем з цим. Ці проблеми та альтернативні процедури обговорюються в CV ^{3 в} інших місцях .

Заключна тема стосується різних типів СС. По-перше, використання різних типів СС не позбавить вас від необхідності логічного обґрунтування вашого аналізу. Але більше того, тип I - III СС пов'язаний з іншим питанням. У вашому прикладі я зібрав, що ваші фактори є ортогональними, тобто ви провели експеримент, коли кожній комбінації рівнів факторів було призначено рівне n. Однак якщо ви проводите спостережне дослідження або у вас проблеми з відміною, ваші фактори будуть співвідноситись. Наслідком цього є те, що не існує єдиного способу розділити СС, і тому немає унікальної відповіді для ваших аналізів. Іншими словами, різні типи СС мають стосуватися різних можливих чисельників для вашого тесту F, коли ваші фактори співвідносяться ⁴ .

<sub>1. Зауважте, що для багаторівневих моделей коефіцієнт може бути теоретизований для включення змінності від інших факторів, залежно від того, як вказана модель. Я обговорюю тут звичайну ANOVA, про яку, здається, ви питаєте.
2. Див.: Як додавання ІІ IV може зробити ІV значущим?
3. Див .: Алгоритми автоматичного вибору моделі .
4. Див.: Як тлумачити тип I (послідовний) ANOVA та MANOVA?</sub>

Виправданням є те, що фактор A пояснює більший відсоток необґрунтованої зміни в моделі A + B порівняно з моделлю A, оскільки фактор B пояснює значну частину (і, таким чином, "вилучає" її з аналізу).