Перехресне підтвердження для змішаних моделей?

9

Ми з колегою підходимо до ряду лінійних та нелінійних моделей змішаного ефекту в Р. Нас просять провести перехресну валідацію на пристосованих моделях, щоб можна було перевірити, що спостережувані ефекти відносно узагальнюючі. Зазвичай це тривіальне завдання, але в нашому випадку ми повинні розділити цілі дані на навчальну частину та тестову частину (для цілей резюме), які не мають загальних рівнів. Наприклад,

Дані про навчання можуть базуватися на групах 1,2,3,4; Потім пристосована модель перехресно підтверджена у групі 5.

Таким чином, це створює проблему, оскільки групові випадкові ефекти, оцінені на тренувальних даних, не застосовуються до даних тестування. Таким чином, ми не можемо резюмувати модель.

Чи є відносно прямолінійне рішення цього питання? Або хтось ще написав пакет для вирішення цієї проблеми? Будь-який натяк вітається!

Дякую!

mixed-model cross-validation

— Цін Цянь
джерело

2

При оцінці малої площі у вас є та сама проблема з «позабіржовими» невеликими ділянками. Як правило, це те, що ви оцінюєте випадкові ефекти поза вибіркою за нулем (їх найбільш вірогідне значення - якщо припустити, що ваші випадкові ефекти зазвичай розподіляються). Ви ефективно використовуєте "синтетичну" або нерухому частину моделі лише для прогнозування.

— ймовірністьлогічний

Probaislogic / Ting Qian, я зараз веду боротьбу з цією проблемою, і хотів би побачити, як ви вказали нестандартні ефекти як 0. Чи можна відредагувати свою відповідь тут і показати R-код? Дякую!

— Pradeep Babu

3

Fang (2011) продемонстрував асимптотичну еквівалентність між AIC, застосованим до змішаних моделей, і перехресною валідацією «один кластер». Можливо, це задовольнило б вашого рецензента, дозволивши вам просто обчислити AIC як простіше підрахувати наближення до того, що вони запитали?

— Майк Лоуренс
джерело

Дякую! Це виглядає корисно. Ми фактично вже обчислили BIC, але рецензент хоче побачити результати перехресної перевірки. ;-) Деякі набори даних у нас відносно невеликі. Отже, можна зробити аргумент, що такої асимптотичної поведінки не очікується. Але, так, ми, звичайно, можемо навести Fang (2011), коли ми представляємо результати BIC, оскільки AIC і BIC теж асимптотично еквівалентні?

— Ting Qian

2

Я не вірю, що AIC та BIC є асимптотично рівнозначними, оскільки вони намагаються відповісти на принципово різні питання. Дивіться: stats.stackexchange.com/questions/577/…

— Майк Лоуренс

Ось більш детальне порівняння AIC та BIC: smr.sagepub.com/cgi/doi/10.1177/0049124103262065

— Майк Лоуренс

0

Колбі та Бейр (2013) розробили підхід перехресної валідації, який можна застосувати до нелінійних моделей змішаних ефектів. Ви можете відвідати це посилання, щоб дізнатися більше.

— Апі Хунзанджі
джерело

1

Ласкаво просимо до Crossvalidated. Будь ласка, додайте більше інформації до своєї відповіді. Можливо, ви зможете окреслити найважливіші частини статті.

— Ферді