Чи корисні змішані моделі в якості прогнозних моделей?

Я трохи розгублений щодо переваг змішаних моделей щодо прогнозного моделювання. Оскільки моделі прогнозування зазвичай призначені для прогнозування знань раніше невідомих спостережень, то мені здається очевидним, що єдиний спосіб, коли змішана модель може бути корисною, - це її здатність забезпечувати прогнози на рівні населення (тобто без додавання випадкових ефектів). Однак проблема полягає в тому, що поки що, на мій досвід, прогнози на рівні населення на основі змішаних моделей значно гірші, ніж прогнози, засновані лише на стандартних регресійних моделях із фіксованими ефектами.

Отже, який сенс змішаних моделей щодо проблем прогнозування?

EDIT. Проблема полягає в наступному: я встановив змішану модель (з фіксованими і випадковими ефектами) і стандартну лінійну модель тільки з фіксованими ефектами. Коли я роблю перехресну перевірку, я отримую таку ієрархію точності прогнозування: 1) змішані моделі при прогнозуванні із застосуванням фіксованих та випадкових ефектів (але це, звичайно, працює лише для спостережень із відомими рівнями змінних випадкових ефектів, тому такий підхід прогнозування здається не бути придатним для реальних прогнозних програм!); 2) стандартна лінійна модель; 3) змішана модель при використанні прогнозів рівня населення (так із випадковими ефектами, що викидаються). Таким чином, єдиною відмінністю між стандартною лінійною моделлю та змішаною моделлю є дещо різне значення коефіцієнтів через різні методи оцінки (тобто є однакові ефекти / прогноктори в обох моделях, але вони мають різні пов'язані коефіцієнти).

Отже, моя плутанина зводиться до питання, чому я коли-небудь використовувати змішану модель в якості прогнозної моделі, оскільки використання змішаної моделі для генерування прогнозів рівня населення здається неповноцінною стратегією порівняно зі стандартною лінійною моделлю.

Це залежить від характеру даних, але в цілому я б очікував, що змішана модель перевершить лише моделі з фіксованим ефектом.

Візьмемо приклад: моделювання взаємозв'язку між сонячним світлом та висотою стебел пшениці. У нас є ряд вимірювань окремих стебел, але багато стебла вимірюються на одних і тих же ділянках (які схожі за ґрунтом, водою та іншими речами, які можуть впливати на висоту). Ось кілька можливих моделей:

1) висота ~ сонячне світло

2) висота ~ сонце + ділянка

3) висота ~ сонячне світло + (1 | сайт)

Ми хочемо використовувати ці моделі для прогнозування висоти нових стебел пшениці, враховуючи деяку оцінку сонячного світла, яке вони зазнають. Я не зважаю на параметр штрафу, який ви б заплатили за наявність багатьох сайтів у моделі з фіксованими ефектами, і просто розгляну відносну прогнозовану силу моделей.

Тут є найбільш релевантним питанням, чи ці нові точки даних, які ви намагаєтеся передбачити, з одного з вимірюваних вами сайтів; Ви кажете, що це в реальному світі рідко, але це трапляється.

A) Нові дані з сайту, який ви оцінили

Якщо так, моделі №2 та №3 будуть перевершувати №1. Вони обидва використовують більш релевантну інформацію (середній ефект сайту) для прогнозування.

Б) Нові дані з неміряного сайту

Я б все-таки очікував, що модель №3 перевищить №1 та №2 з наступних причин.

(i) Модель №3 проти №1:

Модель №1 дасть оцінки, які будуть упереджені на користь сайтів, що більше представлені. Якщо у вас є однакова кількість балів від кожного сайту та досить репрезентативна вибірка сайтів, ви повинні отримати однакові результати з обох.

(ii) Модель №3 проти №2:

Чому в цьому випадку модель №3 буде кращою моделлю №2? Оскільки випадкові ефекти використовують перевагу усадки - ефекти сайтів будуть "скорочуватися" до нуля. Іншими словами, ви будете схильні знаходити менш екстремальні значення для ефектів сайту, коли він задається як випадковий ефект, ніж коли він задається як фіксований ефект. Це корисно і покращує вашу здатність до прогнозування, коли засоби популяції можна обгрунтовано вважати витягнутими з нормального розподілу (див . Парадокс Штейна в статистиці ). Якщо не передбачається, що популяційні засоби дотримуватимуться нормального розподілу, це може бути проблемою, але, як правило, це дуже розумне припущення, і метод є надійним до невеликих відхилень.

[Побічна примітка: за замовчуванням при встановленні моделі №2 більшість програмного забезпечення використовує один із сайтів як опорний та оціночний коефіцієнти для інших сайтів, які представляють їх відхилення від еталонних. Таким чином, може здатися, що немає можливості розрахувати загальний "ефект населення". Але ви можете обчислити це шляхом усереднення попереду прогнозів для всіх окремих сайтів або, просто кажучи, змінивши кодування моделі, щоб коефіцієнти обчислювалися для кожного сайту.]

Слідкуйте за відмінною реакцією mkt: З мого власного особистого досвіду розробки прогнозних моделей у галузі медичного страхування, включення випадкових ефектів у прогностичні моделі (включаючи моделі машинного навчання) має ряд переваг.

Мене часто просять побудувати моделі, які б прогнозували майбутні результати претензій (наприклад, майбутні витрати на охорону здоров'я, тривалість перебування тощо) на основі даних історичних претензій. Часто є кілька претензій на особу з корельованими результатами. Ігнорування того факту, що багато претензій поділяють один і той же пацієнт, було б викиданням цінної інформації в прогностичній моделі.

Одним з рішень було б створити змінні індикатора фіксованого ефекту для кожного учасника набору даних та використовувати пеналізовану регресію для зменшення кожного фіксованого ефекту на рівні члена окремо. Однак, якщо у ваших даних є тисячі або мільйони членів, більш ефективним рішенням як з обчислювальної, так і з прогнозної точки зору може бути представлення декількох фіксованих ефектів на рівні члена як єдиний термін випадкового ефекту з нормальним розподілом.