Заходи складності моделі

Як можна порівняти складність двох моделей з однаковою кількістю параметрів?

Редагувати 19.09 : Для уточнення складність моделі - це міра того, наскільки важко вчитися з обмежених даних. Коли дві моделі однаково добре вписуються в існуючі дані, модель з меншою складністю дасть менші помилки на майбутні дані. Коли використовуються наближення, це технічно може не завжди бути правдою, але це нормально, якщо це, як правило, відповідає дійсності. Різні наближення дають різні міри складності

Крім різних заходів мінімальної довжини опису (наприклад, нормалізована максимальна ймовірність, наближення інформації Фішера), варто згадати ще два методи:

1. Параметрична завантажувальна . Це набагато простіше втілити в життя, ніж вимогливі заходи MDL. Приємний документ - Wagenmaker та його колеги:
   Wagenmakers, E.-J., Ratcliff, R., Gomez, P., & Iverson, GJ (2004). Оцінка імітації моделі за допомогою параметричного завантажувального пристрою . Журнал математичної психології , 48, 28-50.
   Реферат:

   Ми представляємо загальну процедуру вибірки для кількісної оцінки імітації моделі, визначену як здатність моделі враховувати дані, згенеровані конкуруючою моделлю. Ця процедура відбору проб, яка називається параметричним методом перехресного завантаження (PBCM; пор. Williams (JR Statist. Soc. B 32 (1970) 350; Biometrics 26 (1970) 23)), генерує розподіли відмінностей у корисності придатності. очікується під кожною з конкуруючих моделей. У інформаційній версії PBCM моделей, що генерують дані, мають конкретні значення параметрів, отримані при встановленні досліджуваних експериментальних даних. Розподіл різницевих даних, поінформованих за даними, можна порівняти із спостережуваною різницею корисності, щоб забезпечити кількісне визначення адекватності моделі. У неінформованій версії ПКБ даних, Моделі, що генерують, мають порівняно широкий діапазон значень параметрів на основі попередніх знань. Застосування як інформованих даних, так і неінформованих PBCM даних проілюстровано кількома прикладами.

   Оновлення: Оцінка імітації моделі простою англійською мовою. Ви берете одну з двох конкуруючих моделей і випадковим чином вибираєте набір параметрів для цієї моделі (будь-які дані або інформовані). Потім ви створюєте дані з цієї моделі з підібраним набором параметрів. Далі ви дозволяєте обом моделям відповідати отриманим даним і перевіряти, яка з двох кандидатних моделей дає кращу відповідність. Якщо обидві моделі однаково гнучкі або складні, модель, з якої ви отримали дані, повинна краще відповідати. Однак якщо інша модель є більш складною, вона могла б краще відповідати, хоча дані були отримані з іншої моделі. Ви повторюєте це кілька разів з обома моделями (тобто нехай обидві моделі дають дані і дивляться, яка з двох підходить краще). Модель, яка «перевершує» дані, отримані іншою моделлю, є більш складною.

2. Перехресна перевірка : Це також досить просто здійснити. Дивіться відповіді на це питання . Однак зауважте, що проблема з цим полягає в тому, що вибір серед правил вирізання вибірки (випуск-один-вихід, K-складка тощо) є безпринциповим.

Я думаю, це залежатиме від фактичної процедури встановлення моделі. Ви можете врахувати загальноприйнятний захід Узагальнені ступені свободи», описані в 1998 році - по суті, чутливість зміни оцінок моделі до збурень спостережень - що досить добре працює як міра складності моделі.

Мінімальна довжина опису (MDL) та мінімальна довжина повідомлення (MML), безумовно, варто перевірити.

Що стосується MDL, то простий документ, який ілюструє процедуру нормованої максимальної ймовірності (NML), а також асимптотичне наближення:

S. de Rooij & P. ​​Grünwald. Емпіричне дослідження вибору моделі мінімальної довжини опису з нескінченною параметричною складністю. Журнал математичної психології, 2006, 50, 180-192

Тут вони розглядають складність моделі розподілу Геометричний проти Пуассона. Чудовий (безкоштовний) підручник з MDL можна знайти тут .

В якості альтернативи можна знайти статтю про складність експоненціального розподілу, досліджувану як MML, так і MDL тут . На жаль, не існує сучасного підручника з MML, але книга є чудовою довідкою та настійно рекомендується.

Мінімальна довжина опису може бути дорогою, яку варто дотримуватися.

Під "складністю моделі" зазвичай розуміють багатство простору моделі. Зауважте, що це визначення не залежить від даних. Для лінійних моделей багатство простору моделі тривіально вимірюється зі зменшенням простору. Це те, що деякі автори називають "ступенями свободи" (хоча історично ступеня свободи було зарезервовано для різниці між модельним простором та простором вибірки). Для нелінійних моделей кількісна оцінка багатства простору менш тривіальна. Така узагальнена ступінь свободи (див. Відповідь арс). Він дійсно дуже загальний і може використовуватися для будь-якого "дивного" простору моделі, такого як дерева, KNN тощо. TheРозмір VC є ще одним заходом.

Як було сказано вище, це визначення поняття "складність" не залежить від даних. Тож дві моделі з однаковою кількістю параметрів зазвичай матимуть однакову "складність".

Від коментарів Ярослава до відповіді Генріка:

але перехресне підтвердження, здається, просто відкладає завдання оцінки складності. Якщо ви використовуєте дані для вибору параметрів і вашої моделі, як при перехресній валідації, відповідним питанням стає те, як оцінити обсяг даних, необхідний для цього "мета" -виконання

Цікаво, чи це саме по собі не інформативно. Ви виконуєте кілька$k$-складне резюме з різними $k$ (скажімо уздовж сітки) і подивіться, яка модель працює краще $k$збільшується. Більш конкретно: мені цікаво, чи існує якась диференціація між двома моделями$CV(k)$ продуктивність як функція $k$ можна вважати доказом того, що ця модель (та, відносна продуктивність якої зменшується менше, коли $k$ зростає) було б менш складним.

Ви можете навіть надати «значущості» присмаку цьому, оскільки результат процедури безпосередньо виражається в (одиницях) різниці в помилці прогнозування вибірки.

А як щодо інформаційного критерію для порівняння моделей? Див., Наприклад, http://en.wikipedia.org/wiki/Akaike_information_criterion

Складність моделі - це кількість параметрів моделі.