Невідповідність регресії проти ANOVA (aov vs lm в R)

У мене завжди було враження, що регресія - це просто більш загальна форма ANOVA і що результати були б ідентичними. Однак останнім часом у мене були такі ж дані, як регресія та ANOVA, і результати суттєво відрізняються. Тобто, в регресійній моделі важливі як основні ефекти, так і взаємодія, тоді як в ANOVA один головний ефект не суттєвий. Я очікую, що це має щось спільне з взаємодією, але мені незрозуміло, чим відрізняються ці два способи моделювання одного і того ж питання. Якщо це важливо, один предиктор є категоричним, а інший - безперервним, як зазначено в моделюванні нижче.

Ось приклад того, як виглядають мої дані та які аналізи я виконую, але без тих самих p-значень чи ефектів, які мають значення в результатах (мої фактичні результати наведені вище):

group<-c(1,1,1,0,0,0)
moderator<-c(1,2,3,4,5,6)
score<-c(6,3,8,5,7,4)

summary(lm(score~group*moderator))
summary(aov(score~group*moderator))

summaryФункція викликає різні методи в залежності від класу об'єкта. Різниця полягає не в aovпорівнянні lm, а в інформації, представленій про моделі. Наприклад, якщо ви використовували anova(mod1)та anova(mod2)замість цього, ви повинні отримати однакові результати.

Як стверджує @Glen, головним є те, чи повідомляються тести на основі розмірів квадратів 1 або 3 типу. Вони відрізнятимуться, коли кореляція між вашими пояснювальними змінними не буде точно 0. Коли вони співвідносяться, деякі СС є унікальними для одного прогноктора, а інші - для інших, але деякі СС можуть бути віднесені до одного або обох. ( Ви можете візуалізувати це, уявивши символ MasterCard- в центрі є невелика область перекриття.) У цій ситуації немає однозначної відповіді, і, на жаль, це норма для неекспериментальних даних. Один із підходів полягає в тому, щоб аналітик використав своє судження і призначив SS, що перекривається, одній із змінних. Ця змінна спочатку переходить у модель. Інша змінна переходить у модель секунди і отримує SS, схожий на печиво з укусом, вийнятим з нього. Цей ефект може бути перевірений тим, що іноді називають $R^2$змінити або змінити F. У цьому підході використовується тип 1 SS. Крім того, ви можете зробити це двічі, коли кожен буде першим, і повідомити про тест F зміни обох прогнозів. Таким чином, жодна змінна не отримує SS через перекриття. У цьому підході використовується тип 3 SS. (Я також повинен сказати вам, що останній підхід дотримується низької уваги.)

Після пропозиції @BrettMagill в коментарі нижче, я можу спробувати зробити це трохи зрозумілішим. (Зауважте, що в моєму прикладі я використовую лише 2 прогнози і не взаємодію, але цю ідею можна збільшити, щоб включити все, що вам подобається.)

Тип 1: SS (A) та SS (B | A)

Тип 3: SS (A | B) і SS (B | A)

Результати виходу aov дають вам ймовірності на основі суми квадратів типу 1. Ось чому результат взаємодії однаковий, а основні ефекти відрізняються.

Якщо ви використовуєте ймовірності на основі суми квадратів типу 3, вони відповідатимуть результатам лінійної регресії.

library(car)
Anova(aov(score~group*moderator),type=3)

Основна відмінність між лінійною регресією та ANOVA полягає в тому, що в ANOVA змінні предиктора є дискретними (тобто вони мають різний рівень). Тоді як в лінійній регресії змінні предиктора є безперервними.