ANOVA проти множинної лінійної регресії? Чому ANOVA так часто використовується в експериментальних дослідженнях?

ANOVA проти множинної лінійної регресії?

Я розумію, що обидва ці методи, здається, використовують однакову статистичну модель. Однак за яких обставин слід використовувати який метод?

Які переваги та недоліки цих методів у порівнянні?

Чому ANOVA так часто використовується в експериментальних дослідженнях, і я навряд чи знайду регресійне дослідження?

Було б цікаво врахувати, що розбіжність полягає у типі змінних , а більш чітко - у типах пояснювальних змінних . У типовій ANOVA у нас є категоріальна змінна з різними групами , і ми намагаємося визначити, чи відрізняється вимірювання суцільної змінної між групами. З іншого боку, OLS, як правило, сприймається як перш за все спроба оцінки зв’язку між постійною регресою і змінною відповіді та однією або декількома регресорами чи пояснювальними змінними . У цьому сенсі регресію можна розглядати як іншу техніку, піддаючись передбаченню значень на основі лінії регресії.

Однак ця різниця не витримує поширення ANOVA на решту аналізу супу дисперсійного алфавіту (ANCOVA, MANOVA, MANCOVA); або включення фіксованих змінних змінних в регресію OLS. Мені незрозуміло щодо конкретних історичних орієнтирів, але так, ніби обидві методи виробили паралельні адаптації для вирішення все складніших моделей.

Наприклад, ми можемо побачити, що відмінності між ANCOVA та OLS з фіктивними (або категоричними) змінними (в обох випадках із взаємодією) є максимум косметичними. Вибачте, будь ласка, мій відхід від меж у заголовку вашого питання щодо множинної лінійної регресії.

В обох випадках, модель, по суті , збігається з точкою R , що в функція використовується для виконання ANCOVA . Однак він може бути представлений як різний щодо включення в регресійну модель перехоплення, що відповідає першому рівню (або групі) факторної (або категоричної) змінної.lm

У збалансованій моделі (однакові за розміром групи, n 1 , 2 , $i$ ) та лише з одним коваріатом (для спрощення подання матриці) матричну модель в ANCOVA можна зустріти як деяку варіацію:$n_{1,2,\cdots\, i}$

$$X=\begin{bmatrix} 1_{n_1} & 0 & 0 & x_{n_1} & 0 & 0\\ 0 & 1_{n_2} & 0 & 0 & x_{n_2} & 0\\ 0 & 0 & 1_{n_3} & 0 & 0 & x_{n_3} \end{bmatrix}$$

для груп факторної змінної, вираженої у вигляді блокових матриць.$3$

Це відповідає лінійній моделі:

з α i, що еквівалентно різній групі, означає в моделі ANOVA, тоді як різні β '- це нахили коваріату для кожної з груп.

$$y = \alpha_i + \beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$$ $\alpha_i$$\beta$

Представлення тієї ж моделі в області регресії, а конкретно в R, розглядає загальний перехоплення, що відповідає одній із груп, і матриця моделі може бути представлена ​​як:

$$X=\begin{bmatrix} \color{red}\vdots & 0 & 0 &\color{red}\vdots & 0 &0 & 0\\ \color{red}{J_{3n,1}} & 1_{n_2} & 0 & \color{red}{x} & 0 & x_{n_2} & 0\\ \color{red}\vdots& 0 & 1_{n_3} & \color{red}\vdots & 0 & 0 & x_{n_3} \end{bmatrix}$$

рівняння OLS:

$$y =\color{red}{\beta_0} + \mu_i +\beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$$

$\beta_0$$\mu_i$

Як видно з модельних матриць, презентація відповідає фактичній тотожності між регресією та аналізом дисперсії.

Мені подобається на увазі перевірити це з допомогою деяких рядків коду і моїх улюблених наборів даних mtcarsв R . Я використовую lmдля ANCOVA згідно з документами Бена Болкера, доступними тут .

mtcars$cyl <- as.factor(mtcars$cyl)         # Cylinders variable into factor w 3 levels
D <- mtcars  # The data set will be called D.
D <- D[order(D$cyl, decreasing = FALSE),]   # Ordering obs. for block matrices.

model.matrix(lm(mpg ~ wt * cyl, D))         # This is the model matrix for ANCOVA

Що стосується частини питання про те, яким методом користуватися (регресія з R!), Ви можете побачити цей он-лайн коментар, який я натрапив під час написання цього повідомлення.

Регресія ANOVA та OLS є математично ідентичною у випадках, коли ваші прогнози є категоричними (з точки зору висновків, які ви виводите із тестової статистики). Інакше кажучи, ANOVA - це особливий випадок регресу. ANOVA не може сказати вам, що регресія не може вийти сама. Однак навпаки не вірно. ANOVA не можна використовувати для аналізу з постійними змінними. Таким чином, ANOVA можна було б класифікувати як більш обмежену техніку. Однак регресія не завжди є зручною для менш досконалого аналітика. Наприклад, більшість сценаріїв ANOVA автоматично генерують умови взаємодії, де, як і у випадку регресії, вам часто потрібно самостійно обчислити ці терміни за допомогою програмного забезпечення. Широке використання ANOVA частково є пережитком статистичного аналізу перед використанням більш потужного статистичного програмного забезпечення, і, на мою думку, простіший метод навчання недосвідченим студентам, мета яких - відносне розуміння поверхневого рівня, що дозволить їм аналізувати дані за допомогою базового статистичного пакету. Спробуйте це коли-небудь ... Вивчіть t-статистику, яка базує регресію, викреслює її, а потім порівняйте її із співвідношенням F з ANOVA за тими ж даними. Ідентичний!

На мою думку, головна перевага регресії від ANOVA в цих напрямках полягає у висновку. Якщо вас цікавить статистична значимість категоріальної змінної (коефіцієнта) як блоку, то ANOVA надає цей тест для вас. З регресією категорична змінна представлена ​​двома або більше фіктивними змінними, залежно від кількості категорій, і, отже, у вас є 2 або більше статистичних тестів, кожен з яких порівнює середнє значення для певної категорії з середнім значенням нульової категорії (або загальне середнє значення, залежно від методу фіктивного кодування). Жодне з них не може становити інтерес. Таким чином, ви повинні провести аналіз після оцінки (по суті, ANOVA), щоб отримати загальний тест фактору, який вас цікавить.

Основна перевага лінійної регресії полягає в тому, що вона є стійкою до порушення однорідності дисперсії, коли розміри вибірки для груп неоднакові. Інша полягає в тому, що це полегшує включення декількох коваріатів (хоча це також можна легко здійснити за допомогою ANCOVA, коли вам цікаво включити лише один коваріат). Регресія набула широкого розповсюдження протягом сімдесятих років, коли з'явилися успіхи в обчислювальній потужності. Ви також можете вважати регресію більш зручною, якщо вам особливо цікаво вивчити відмінності між окремими рівнями категоріальної змінної, коли є більше двох рівнів (до тих пір, поки ви встановите фіксовану змінну в регресії так, що один з цих двох рівнів представляє референтну групу).