Чи може AIC порівнювати різні моделі?

Я використовую AIC (інформаційний критерій Akaike) для порівняння нелінійних моделей у Р. Чи справедливо порівняти АПК різних типів моделі? Зокрема, я порівнюю модель, встановлену glm, порівняно з моделлю з терміном випадкового ефекту, встановленим glmer (lme4).

Якщо ні, чи існує таке порівняння? Або ідея повністю недійсна?

lme4-nlme model-selection aic

— Томас К
джерело

Відповіді:

Це залежить. AIC - це функція вірогідності журналу. Якщо обидва типи моделі обчислюють ймовірність журналу однаково (тобто включають однакову константу), то так, якщо ви вкладені моделі, ви можете .

Я досить впевнений, що glm()і lmer()не використовую порівнянні ймовірності журналу.

Точка щодо вкладених моделей також готується до обговорення. Деякі кажуть, що AIC справедливий лише для вкладених моделей, тому що теорія представлена / опрацьована. Інші використовують його для всіляких порівнянь.

— Відновіть Моніку - Г. Сімпсон
джерело

Я розумію, що lme4 за замовчуванням використовує REML, де glm використовує ML. Вони можуть бути порівнянними, якщо ви змусили Lmer використовувати ML, встановивши REML = FALSE.

— russellpierce

Окрім коментаря Вашого Гевіна, також залежить, що ви хочете робити з моделлю. Чи є модель для передбачення чи Томас шукає пристрасті? (Я думаю)

— suncoolsu

@drnexus: Я не думаю, що цього достатньо; Ви повинні бути впевнені, що та сама константа нормалізації застосовується в обчисленні ймовірності журналу.

— Відновіть Моніку - Г. Сімпсон

@Thomas: для цього вам потрібно буде переглянути код або поговорити з людиною, яка його написала, щоб переконатися. Взагалі, припустимо, що ймовірність не порівнянна для різних програм / пакетів / функцій.

— Відновіть Моніку - Г. Сімпсон

@ user3490 Залежить від програмного забезпечення та алгоритму, який використовується для отримання оцінок. Взагалі я б припустив, що вони не були однаковими, якщо б я точно не знав, що вони є.

— Відновіть Моніку - Г. Сімпсон

Це чудове питання, про яке я цікавився деякий час.

Для моделей із одного сімейства (тобто авторегресивних моделей порядку k або поліномів) AIC / BIC має багато сенсу. В інших випадках це менш зрозуміло. Точно обчислювати вірогідність журналу (з постійними умовами) слід, але використання більш складних моделей порівняння, таких як Фактори Байєса, можливо, краще (http://www.jstor.org/stable/2291091).

Якщо моделі мають однакову функцію втрат / помилок, однією з альтернатив є просто порівняння перехресних перевірених імовірностей журналу. Це, як правило, те, що я намагаюся робити, коли не впевнений, що AIC / BIC має сенс у певній ситуації.

— IanS
джерело

Зауважте, що в деяких випадках AIC навіть не може порівнювати моделі одного типу, як моделі ARIMA з іншим порядком розходження. Цитуючи прогнозування: принципи та практика Роб Дж Хайндман та Джорджа Атанасопулоса:

$d$ $p$ $q$ $d$ $p$ $q$

— налзок
джерело

Дійсно, але вирішальним моментом є те, що порівняння проблематичним не є типом моделі, це дані, за якими визначається ймовірність.

— Річард Харді