Що таке "насичена" модель?

Що мається на увазі, коли ми говоримо, що у нас є насичена модель?

Насичена модель - це така модель, в якій існує стільки оцінених параметрів, скільки точок даних. За визначенням, це призведе до ідеального пристосування, але статистично буде мало корисного, оскільки у вас не залишилося даних для оцінки дисперсії.

Наприклад, якщо у вас є 6 точок даних і підходить до даних поліном 5-го порядку, у вас буде насичена модель (один параметр для кожної з 5 потужностей вашої незалежної змінної плюс один для постійного періоду).

Насичена модель - це модель, яка переоцінена до того, що вона в основному просто інтерполює дані. У деяких налаштуваннях, таких як стиснення зображення та реконструкція, це не обов’язково погано, але якщо ви намагаєтеся побудувати модель прогнозування, це дуже проблематично.

Коротше кажучи, насичені моделі призводять до надзвичайно високих дисперсійних прогнокторів, які шум виштовхують більше, ніж фактичні дані.

В якості продуманого експерименту, уявіть, що у вас є насичена модель, і в даних лунає шум, тоді уявіть, як встановити модель кілька сотень разів, кожен раз з різною реалізацією шуму, а потім прогнозуючи нову точку. Ви, ймовірно, щоразу отримуєте докорінно різні результати, як для вашого пристосування, так і для вашого прогнозування (а поліноміальні моделі особливо чудові в цьому плані); Іншими словами, дисперсія придатності та прогнозувача надзвичайно велика.

На відміну від ненасиченої моделі (якщо вона буде побудована розумно) даватимуть пристосування, більш узгоджені між собою навіть при різній реалізації шуму, і дисперсія прогноктора також зменшиться.

Модель є насиченою тоді і лише тоді, коли вона має стільки параметрів, скільки має точок даних (спостережень). Або якщо не сказати інакше, в ненасичених моделях ступінь свободи більше нуля.

Це в основному означає, що ця модель є марною, оскільки вона не описує дані більш парсимонічно, ніж необроблені дані (а опис даних паразитним є, як правило, ідеєю використання моделі). Крім того, насичені моделі можуть (але не обов’язково) забезпечувати (марно) ідеальне пристосування, оскільки вони просто інтерполюють або повторюють дані.

Візьмемо для прикладу середнє значення як модель для деяких даних. Якщо у вас є лише одна точка даних (наприклад, 5) з використанням середнього (тобто 5; зауважте, що середнє значення є насиченою моделлю лише для однієї точки даних), це зовсім не допомагає. Однак якщо у вас вже є дві точки даних (наприклад, 5 і 7), використовуючи середнє значення (тобто 6) в якості моделі, ви отримуєте більш парсимонічний опис, ніж вихідні дані.

Як усі говорили раніше, це означає, що у вас є стільки параметрів, скільки у вас є точки даних. Отже, ніякої користі тесту на придатність. Але це не означає, що модель «за визначенням» може ідеально підходити до будь-якої точки даних. Я можу вам сказати з особистого досвіду роботи з деякими насиченими моделями, які не могли передбачити конкретні точки даних. Це досить рідко, але можливо.

Ще одне важливе питання полягає в тому, що насичене не означає марне. Наприклад, у математичних моделях пізнання людини параметри моделі асоціюються з конкретними когнітивними процесами, які мають теоретичне підґрунтя. Якщо модель насичена, ви можете перевірити її адекватність, провівши цілеспрямовані експерименти з маніпуляціями, які повинні впливати лише на конкретні параметри. Якщо теоретичні прогнози відповідають спостережуваним відмінностям (або їх відсутності) в оцінках параметрів, то можна сказати, що модель справедлива.

Приклад: Уявіть, наприклад, модель, яка має два набори параметрів, один для когнітивної обробки та інший для рухових реакцій. Уявіть собі, що у вас є експеримент із двома умовами, в яких одна з них здатність реагувати порушується (вони можуть використовувати лише одну руку замість двох), а в іншій ситуації немає порушення. Якщо модель дійсна, відмінності в оцінках параметрів для обох умов повинні виникати лише для параметрів реакції двигуна.

Також майте на увазі, що навіть якщо одна модель не є насиченою, вона все одно може бути не ідентифікованою, а це означає, що різні комбінації значень параметрів дають однаковий результат, що компрометує будь-яку придатність моделі.

Якщо ви хочете знайти більше інформації щодо цих питань загалом, ви можете поглянути на ці документи:

Бамбер, Д., і ван Сантен, JPH (1985). Скільки параметрів може мати модель і все ще може бути перевірена? Журнал математичної психології, 29, 443-473.

Bamber, D., і van Santen, JPH (2000). Як оцінити простежуваність та ідентифікаційність моделі. Журнал математичної психології, 44, 20-40.

ура

Це також корисно, якщо вам потрібно розрахувати АПК для квазіімовірнісної моделі. Оцінка дисперсії повинна виходити з насиченої моделі. Ви б розділили LL, який вам підходить, за розрахунковою дисперсією від насиченої моделі в розрахунку AIC.

В контексті SEM (або аналізу шляху) насичена модель або щойно визначена модель - це модель, в якій кількість вільних параметрів точно дорівнює кількості дисперсій та унікальних коваріацій. Наприклад, наступна модель є насиченою моделлю, оскільки є 3 * 4/2 точки даних (дисперсії та унікальні коваріації), а також 6 вільних параметрів, які слід оцінити: