Фон: Примітка: Мій набір даних та r-код містяться під текстом

Я хочу використовувати AIC для порівняння двох моделей змішаних ефектів, згенерованих за допомогою пакету lme4 у Р. Кожна модель має один фіксований ефект та один випадковий ефект. Фіксований ефект відрізняється між моделями, але випадковий ефект залишається однаковим між моделями. Я виявив, що якщо я використовую REML = T, модель2 має нижчий показник AIC, але якщо я використовую REML = F, модель1 має нижчий показник AIC.

Підтримка використання ML:

Зуур та ін. (2009; СТОРІНКА 122) припускають, що "Для порівняння моделей з вкладеними фіксованими ефектами (але з однаковою випадковою структурою) слід використовувати ML, а не REML." Це вказує на мене, що я повинен використовувати ML, оскільки мої випадкові ефекти однакові в обох моделях, але мої фіксовані ефекти відрізняються. [Зуур та ін. 2009. Моделі та розширення змішаних ефектів в екології з Р. Спрінгер.]

Підтримка використання REML:

Однак я помічаю, що коли я використовую ML, залишкова дисперсія, пов'язана зі випадковими ефектами, відрізняється між двома моделями (model1 = 136,3; model2 = 112,9), але коли я використовую REML, вона однакова між моделями (model1 = model2 = 151.5). Це означає, що я повинен використовувати REML, щоб випадкова залишкова дисперсія залишалася однаковою між моделями з однаковою випадковою змінною.

Питання:

Чи не має сенсу використовувати REML, ніж ML для порівняння моделей, де фіксовані ефекти змінюються, а випадкові ефекти залишаються однаковими? Якщо ні, чи можете ви пояснити, чому я вказуєте на іншу літературу, яка пояснює більше?

# Model2 "wins" if REML=T:
REMLmodel1 = lmer(Response ~ Fixed1 + (1|Random1),data,REML = T)
REMLmodel2 = lmer(Response ~ Fixed2 + (1|Random1),data,REML = T)
AIC(REMLmodel1,REMLmodel2)
summary(REMLmodel1)
summary(REMLmodel2)

# Model1 "wins" if REML=F:
MLmodel1 = lmer(Response ~ Fixed1 + (1|Random1),data,REML = F)
MLmodel2 = lmer(Response ~ Fixed2 + (1|Random1),data,REML = F)
AIC(MLmodel1,MLmodel2)
summary(MLmodel1)
summary(MLmodel2)

Набір даних:

Response    Fixed1  Fixed2  Random1
5.20    A   A   1
32.50   A   A   1
6.57    A   A   2
24.77   A   B   3
41.69   A   B   3
34.29   A   B   4
1.80    A   B   4
10.00   A   B   5
15.56   A   B   5
4.44    A   C   6
21.65   A   C   6
9.20    A   C   7
4.11    A   C   7
12.52   B   D   8
0.25    B   D   8
27.34   B   D   9
11.54   B   E   10
0.86    B   E   10
0.68    B   E   11
4.00    B   E   11

Zuur та ін., І Faraway (з коментаря @ janhove вище) мають рацію; використання методів на основі ймовірності (включаючи AIC) для порівняння двох моделей з різними фіксованими ефектами, які підходить REML, як правило, призведе до дурниць.

$X$$\tilde{X}$$\mathbb{R}^n$$\tilde{X}$$X$$B$

$\tilde{X} = XB$

$B$$X$$B$ є зворотним.

$V$

$|V|^{-1/2}|\tilde{X}'V^{-1}\tilde{X}|^{-1/2}\exp((y-\tilde{X}\tilde{\beta})'V^{-1}(y-\tilde{X}\tilde{\beta})/2)$

$\beta = (\tilde{X}V^{-1}\tilde{X})^{-1}y$$X = \tilde{X}B$

$|B||V|^{-1/2}||X'V^{-1}X|^{-1/2}|\exp((y-X\bar{\beta})'V^{-1}(y-X\bar{\beta})/2)$

$\bar{\beta} = (XV^{-1}X)^{-1}y$$|B|$

$|B| \neq 1$ (таку матрицю легко знайти). Це ж значення параметра дозволить максимально використовувати критерій в обох випадках, але значення ймовірності буде різним. Це показує, що в значенні ймовірності є довільний елемент, і тому ілюструє, чому не можна використовувати значення ймовірності для порівняння між моделями з різними фіксованими ефектами: ви могли б змінити результати, просто змінивши параметризацію простору середнього значення в одна з моделей.

Це приклад того, чому REML не слід використовувати при порівнянні моделей з різними фіксованими ефектами. Однак REML часто оцінює параметри випадкових ефектів краще, тому іноді рекомендується використовувати ML для порівняння та REML для оцінки єдиної (можливо, остаточної) моделі.