Порівнюючи моделі змішаного ефекту з однаковою кількістю ступенів свободи

У мене є експеримент, який я спробую тут абстрагувати. Уявіть, що я кидаю три білі камені перед вами і прошу вас зробити судження про їхню позицію. Я фіксую різноманітні властивості каменів і вашу відповідь. Я роблю це над низкою предметів. Я генерую дві моделі. Одне полягає в тому, що найближчий до вас камінь пророкує вашу відповідь, а другий - геометричний центр каменів передбачить вашу реакцію. Отже, використовуючи lmer в RI, можна було написати.

mNear   <- lmer(resp ~ nearest + (1|subject), REML = FALSE)
mCenter <- lmer(resp ~ center  + (1|subject), REML = FALSE)

ОНОВЛЕННЯ ТА Зміна - більш пряма версія, яка містить кілька корисних коментарів

Я міг би спробувати

anova(mNear, mCenter)

Що, звичайно, невірно, тому що вони не вкладені, і я не можу реально їх порівняти таким чином. Я очікував, що anova.mer видасть помилку, але цього не сталося. Але можливе гніздування, яке я міг би спробувати тут, не є природним і все ще залишає мене дещо менш аналітичними твердженнями. Коли моделі вкладаються природним шляхом (наприклад, квадратична лінійна), тест є лише одним способом. Але в цьому випадку, що значить мати асиметричні результати?

Наприклад, я міг зробити модель три:

mBoth <- lmer(resp ~ center + nearest + (1|subject), REML = FALSE)

Тоді я можу anova.

anova(mCenter, mBoth)
anova(mNearest, mBoth)

Це справедливо робити, і тепер я вважаю, що центр додає до найближчого ефекту (друга команда), але BIC насправді збільшується, коли найближчий додається до центру (виправлення нижчого парсингу). Це підтверджує те, у чому підозрювали.

Але чи знаходить це достатньо? І це справедливо, коли центр та найближчі так сильно співвідносяться?

Чи є кращий спосіб аналітичного порівняння моделей, коли мова не йде про додавання та віднімання пояснювальних змінних (ступенів свободи)?

Тим не менш, ви можете обчислити довірчі інтервали для своїх фіксованих ефектів і повідомити про AIC або BIC (див., Наприклад, Cnann et al. , Stat Med 1997 16: 2349).

Тепер вам може бути цікаво поглянути на оцінку імітації моделі за допомогою параметричної завантажувальної програми від Wagenmakers et al. що, схоже, більше нагадує ваше початкове запитання щодо оцінки якості двох конкуруючих моделей.

В іншому випадку два документи про заходи поясненої дисперсії в ЛММ, які мені спадають на думку:

• Ллойд Дж. Едвардс, Кіт Е. Мюллер, Рассел Д. Вольфінгер, Бахят Ф. Какіш та Олівер Шабенбергер (2008). Статистика R2 для фіксованих ефектів у лінійній змішаній моделі , Статистика в медицині , 27 (29), 6137–6157.
• Ронгюй Сю (2003). Вимірювання пояснених варіацій лінійних моделей змішаних ефектів, Статистика в медицині , 22 (22), 3527–3541.

Але, можливо, є кращі варіанти.

Слідом за пропозицією ronaf призводить до того, що Вуонг опублікував нещодавніший документ про тест на коефіцієнт вірогідності на нестабільних моделях. Він заснований на KLIC (інформаційний критерій Kullback-Leibler), схожий на AIC тим, що мінімізує відстань KL. Але він встановлює ймовірнісну специфікацію гіпотези, тому використання LRT призводить до більш принципового порівняння. Більш доступну версію тестів Кокса та Вуонга представили Кларк та ін; зокрема див. рисунок 3, на якому представлений алгоритм для обчислення тесту Вуонга LRT.

• Випробування коефіцієнта ймовірності для вибору моделі та вкладених гіпотез (Vuong, 1999)
• Тестування нестабільних моделей міжнародних відносин: переоцінка реалізму (Clarke et al, 2000)

Здається, є реалізація тесту Вуонга в інших моделях, але не lmer. Однак, згаданий вище контур повинен бути достатнім для його здійснення. Я не думаю, що ви можете отримати ймовірність, яку оцінюють у кожній точці даних з lmer, як це потрібно для обчислення. У примітці до sig-ME Дуглас Бейтс має деякі вказівки, які можуть бути корисними (зокрема, віньєтка він згадує).

Старіші

Іншим варіантом є врахування встановлених значень з моделей для перевірки на точність прогнозування. Тут може бути відповідна статистика Вільямса-Клута. Основним підходом є регресування фактичних значень проти лінійної комбінації встановлених значень з двох моделей та тестування нахилу:

• Тест на дискримінацію між моделями (Атікінсон, 1969)
• Зростання та стан добробуту в ЄС: аналіз причинності (Herce et al, 2001)

Перший документ описує тест (та інші), а другий має застосування його в економетричній моделі панелі.

Під час використання lmerта порівняння AIC-кодів за замовчуванням функції використовується метод REML (обмежена максимальна ймовірність). Це добре для отримання менш упереджених оцінок, але, порівнюючи моделі, слід повторно підходити до REML=FALSEвикористання методу максимальної ймовірності. У книзі Піньейро / Бейтс згадується деяка умова, за якої нормально порівнювати AIC / ймовірність з REML або ML, і це може бути дуже застосованим у вашому випадку. Однак загальна рекомендація - це просто перевстановити. Наприклад, дивіться публікацію Дугласа Бейтса тут:

• Як я можу отримати бал AIC із об'єкта змішаної моделі, виготовленого за допомогою lmer?

існує стаття drcox, в якій обговорюється тестування окремих [непропущених] моделей. він розглядає кілька прикладів, які не викликають складності змішаних моделей. [оскільки мій об'єкт із кодом R обмежений, я не зовсім впевнений, які у вас моделі.]

Папір altho cox може не вирішити вашу проблему безпосередньо, вона може бути корисною двома можливими способами.

1. ви можете шукати вченого google за цитатами до його статті, щоб побачити, чи наступні такі результати наближаються до того, що ви хочете.

2. якщо ви з аналітичним вигином, ви можете спробувати застосувати метод Кокса до своєї проблеми. [можливо, не для слабкодухих.]

btw - Кокс згадує, передаючи ідею витонченого поєднання двох моделей у більшу. він не переслідує, як потім вирішити, яка модель краща, але зауважує, що навіть якщо жодна модель не є дуже хорошою, комбінована модель може адекватно відповідати даним. [у вашій ситуації не ясно, що комбінована модель мала б сенс.]

Я не знаю достатньо R, щоб проаналізувати ваш код, але ось одна ідея:

Оцініть модель, де у вас є як центр, так і поруч, як коваріати (називайте цей mBoth). Тоді mCenter і mNear вкладаються в mBoth, і ви можете використовувати mBoth як орієнтир для порівняння відносної продуктивності mCenter та mNear.