Як слід порівняти та затвердити моделі змішаних ефектів?

Яким чином (лінійні) моделі змішаних ефектів зазвичай порівнюються одна з одною? Я знаю, що можна використовувати тести на коефіцієнт ймовірності, але це не працює, якщо одна модель не є "підмножиною" іншої правильної?

Чи завжди оцінка моделей df прямолінійна? Кількість фіксованих ефектів + ​​кількість дисперсійних компонентів, що оцінюються? Чи ігноруємо ми випадкові оцінки наслідків?

А як щодо перевірки? Моя перша думка - це перехресне підтвердження, але випадкові складки можуть не працювати, враховуючи структуру даних. Чи підходить методологія "залишити один предмет / кластер"? А як же залишити одне спостереження?

Mallows Cp можна інтерпретувати як оцінку похибки прогнозування моделей. Вибір моделі за допомогою AIC намагається мінімізувати помилку передбачення (Тож Cp і AIC повинні вибрати одну і ту ж модель, якщо помилки є гауссовими, я вважаю). Чи означає це, що AIC або Cp можна використовувати для вибору «оптимальної» лінійної моделі змішаних ефектів із колекції декількох вкладених моделей з точки зору помилки прогнозування? (за умови, що вони підходять до одних і тих же даних) Чи все ж BIC все більше шансів вибрати «справжню» модель серед кандидатів?

Я також маю враження, що, порівнюючи моделі змішаних ефектів через AIC або BIC, ми враховуємо лише фіксовані ефекти як «параметри» в обчисленні, а не фактичні моделі df.

Чи є хороша література на ці теми? Чи варто досліджувати CAIC чи mAIC? Чи мають вони специфічне застосування поза межами АПК?

Основна проблема вибору моделі в змішаних моделях - це істинно визначити ступеня свободи (df) моделі. Для обчислення df змішаної моделі необхідно визначити кількість оцінюваних параметрів, включаючи фіксовані та випадкові ефекти. І це не просто. Цей документ Jiming Jiang та інших (2008) під назвою "Методи забору для змішаного вибору моделі" може бути застосований у таких ситуаціях. Нова відповідна робота це одна від Greven, S. & Kneib, T. (2010) , що має назву «Про поведінку граничної і умовної АІК в лінійних змішаних моделей». Сподіваюся, це може бути корисним.

Один із способів порівняння моделей (змішаних чи інших) - побудувати графік результатів. Припустимо, у вас є модель A і модель B; виробляють пристосовані значення від кожного і графікують їх один проти одного в діаграмі розсіяння. Якщо значення дуже схожі (використовуючи судження щодо того, чи є вони), виберіть простішу модель. Інша ідея полягає у знаходженні відмінностей між встановленими значеннями та графіку їх залежно від незалежних значень; Ви також можете зробити графік щільності різниці. Взагалі, я прихильник не використовувати статистичні тести для порівняння моделей (хоча АПК та його варіанти, безумовно, мають достоїнства), а скоріше використовувати судження. Звичайно, це має (не) перевагу в тому, щоб не дати точних відповідей.