Вирішення невизначеності моделі

25

Мені було цікаво, як байєси в спільноті CrossValided розглядають проблему невизначеності моделі та як вони вважають за краще вирішувати її? Я спробую поставити своє запитання у двох частинах:

Наскільки важливо (на ваш досвід / думку) стосується невизначеності моделі? Я не знайшов жодного документу, який би займався цим питанням, у спільноті машинного навчання, тому мені просто цікаво, чому.
Які спільні підходи для вирішення невизначеності моделі (бонусні бали, якщо ви надаєте посилання)? Я чув про усереднення байесівської моделі, хоча я не знайомий з конкретними методами / обмеженнями цього підходу. Які є інші та чому ви віддаєте перевагу одне над іншим?

machine-learning bayesian model-selection

— Нік
джерело

1

Менш популярним методом (але зі зростанням популярності) є Правила скорингу, які оцінюють прогнозовану ефективність моделей.

17

Є два випадки, які виникають при вирішенні вибору моделі:

Коли справжня модель належить до простору моделі.

З використанням BIC це дуже просто . Є результати, які показують, що BIC вибере справжню модель з високою ймовірністю.

Однак на практиці дуже рідко ми знаємо справжню модель. Я маю зауважити, що BIC, як правило, зловживається через це (ймовірною причиною є його схожий вигляд, як AIC ) . Ці питання вже розглядалися на цьому форумі в різних формах. Хороша дискусія тут .

Коли справжня модель знаходиться не в просторі моделі.

Це активний напрямок досліджень у байєсівській громаді. Однак підтверджено, що люди знають, що використовувати BIC як критерій вибору моделі в цьому випадку небезпечно. Новітня література з аналізу даних високого виміру свідчить про це. Одним із таких прикладів є такий . Фактор Байєса безумовно добре справляється з високими розмірами. Запропоновано кілька модифікацій BIC, таких як mBIC, але єдиної думки немає. Грін RJMCMC - це ще один популярний спосіб зробити вибір байесівської моделі, але у неї є свої короткі коментарі. Ви можете дізнатися більше про це.

У світі баєсів є ще один табір, який рекомендує усереднювати модель. Помітна істота, доктор Рафтери.

Усереднення байесівської моделі

Цей веб-сайт Кріса Волінксі є всеосяжним джерелом байєсівської моделі, що мріє. Деякі інші твори є тут .

Знову ж таки, вибір байєсівської моделі все ще є активною областю дослідження, і ви можете отримати дуже різні відповіді залежно від того, кого ви запитуєте.

— suncoolsu
джерело

\log | A_{n} | \approx \log | n A_{1} | = p \log n + \log | A_{1} |

$\log|A_n|\approx\log|nA_1|=p\log n+\log|A_1|$

A_{n}

$A_n$

A_{1}

$A_1$

\log | A_{1} | = O (1)

$\log|A_1|=O(1)$ є поганим наближенням, особливо якщо дуже велика різниця в розмірності параметрів для моделей.

— ймовірністьлогічний

це також може бути пов'язано з наближенням Лапласа, що працює також погано

— ймовірністьлогічний

11

"Справжній" байєсів би вирішував невизначеність моделі шляхом маргіналізації (інтеграції) над усіма правдоподібними моделями. Так, наприклад, в задачі лінійної регресії хребта ви б маргіналізувались над параметрами регресії (які мали б Гауссова задню частину, тому це можна зробити аналітично), але потім маргіналізувались над гіпер-пареметрами (рівень шуму та параметр регуляризації) через напр. MCMC методи.

"Меншим" байєсівським рішенням було б маргіналізація над параметрами моделі, але оптимізація гіперпараметрів шляхом максимальної граничної ймовірності (також відомої як "байєсівські докази") для моделі. Однак це може призвести до більшого розміщення, ніж можна було очікувати (див., Наприклад, Каулі та Талбот ). Дивіться роботу Девіда МаккеяІнформацію про максимізацію доказів у машинному навчанні . Для порівняння див. Роботу Радфорда Ніла про підхід "інтегрувати все поза" до подібних проблем. Зауважте, що доказова база дуже зручна для ситуацій, коли інтегрування є занадто обчислювально дорогим, тому є можливості для обох підходів.

Ефективно баєси інтегруються, а не оптимізуються. В ідеалі ми б заявляли про свою попередню переконання щодо характеристик рішення (наприклад, гладкості) та робимо прогнози в умовному режимі, не створюючи фактично моделі. «Моделі» Гаусса, що використовуються в машинному навчанні, є прикладом цієї ідеї, де функція коваріації кодує нашу попередню думку щодо рішення. Дивіться чудову книгу від Расмуссена та Вільямса .

Для практичних байесів завжди існує перехресне підтвердження, важко перемогти більшість речей!

— Дікран Марсупіал
джерело

11

Однією з цікавих речей, які я знаходжу у світі "Невизначеності моделі", є це поняття "справжньої моделі". Це неявно означає, що наші "модельні пропозиції" мають форму:

М_{i}^{(1)} : I-я модель - справжня модель

$M_i^{(1)}:\text{The ith model is the true model}$

$P(M_i^{(1)}|DI)$ $M_i^{(1)}$ є вичерпними. Для будь-якого набору моделей, які ви можете виготовити, обов'язково знайдеться альтернативна модель, про яку ви ще не думали. І так йде нескінченний регрес ...

Вичерпність тут має вирішальне значення, оскільки це забезпечує ймовірність, що додається до 1, а це означає, що ми можемо маргіналізувати модель.

Але це все на концептуальному рівні - усереднення моделей має хороші показники. Тож це означає, що має бути краща концепція.

Особисто я розглядаю моделі як інструменти, як молоток або дриль. Моделі - це ментальні конструкції, які використовуються для прогнозування або опису речей, які ми можемо спостерігати. Дуже дивно говорити про "справжній молот", і так само химерно говорити про "справжній ментальний конструкт". Виходячи з цього, уявлення про "справжню модель" мені здається дивним. Набагато природніше здається думати про «хороші» моделі та «погані» моделі, а не про «правильні» моделі та «неправильні» моделі.

Приймаючи цю точку зору, ми могли б однаково бути непевними щодо "найкращої" моделі, що використовується, з вибору моделей. Тож припустимо, що ми замість цього обґрунтуємо пропозицію:

М_{i}^{(2)} : З усіх вказаних моделей,

$M_i^{(2)}:\text{Out of all the models that have been specified,}$

Найкращою для використання є i-та модель

$\text{the ith model is best model to use}$

$M_{i}^{(2)}$ $M_{i}^{(2)}$

Однак у цьому підході вам потрібна якась міра корисності, щоб оцінити, наскільки хороша ваша "найкраща" модель. Це можна зробити двома способами, випробувавши на моделях "впевнені речі", що відповідає звичайній статистиці GoF (розбіжність KL, Chi-квадрат тощо). Інший спосіб оцінити це - включити надзвичайно гнучку модель у свій клас моделей - можливо, звичайну модель суміші із сотнями компонентів або технологічну суміш Діріхле. Якщо ця модель виходить найкращою, то ймовірно, що інші ваші моделі є неадекватними.

У цьому документі є хороша теоретична дискусія, і крок за кроком подається приклад того, як ви насправді вибираєте модель.

— ймовірністьіслогічна
джерело

Великий +1. Дуже продуманий, чіткий аналіз.

— whuber

Чудова відповідь. Слід зазначити, що, судячи з конкретного класу моделей, BIC - це чудово. Однак більшість випадків, як ви згадуєте, справжня модель знаходиться поза простором моделі. Потім, знову ж таки, як ви згадуєте, близькість між справжньою моделлю та "найкращою моделлю" має сенс. Ось відповіді AIC та інші ІМС намагаються відповісти. BMA працює, але також показало, що не працює. Це не означає, що це погано, але нам слід бути обережними, думаючи про це як про універсальну альтернативу.

— suncoolsu

1

C R A P = C R A P = \frac{1}{N} \sum_{i = 1}^{N} C R A P_{i}

$CRAP=CRAP=\frac{1}{N}\sum_{i=1}^{N} CRAP_i$

4

Я знаю, що люди використовують DIC і фактор Байєса, як сказав suncoolsu. І мені було цікаво, коли він сказав: "Є результати, які показують, що BIC вибере справжню модель з високою ймовірністю" (посилання?). Але я використовую єдине, що мені відомо, - це задні передбачувальна перевірка, яку підтримує Ендрю Гелман. Якщо ви перейдете на google Ендрю Гелмана та задні передбачувальні перевірки, ви знайдете багато речей. І я погляну на те, що Крістіан Роберт пише на ABC про вибір моделі . У будь-якому випадку, ось мені кілька посилань і деякі останні публікації в блозі Гельмана:

Блог

DIC та AIC ; Детальніше про DIC . Перевірка моделі та зовнішня перевірка

Документи про задню передбачувальну перевірку:

ГЕЛМАН, Ендрю. (2003а). "Байєсова формулювання дослідницького аналізу даних та тестування на придатність". Міжнародний статистичний огляд, вип. 71, п.2, стор 389-382.

ГЕЛМАН, Ендрю. (2003b). «Дослідницький аналіз даних для складних моделей». Журнал обчислювальної та графічної статистики, т. 13, н. 4, С. 755/779.

ГЕЛМАН, Ендрю; МЕХЕЛЕН, Івен Ван; VERBEKE, Geert; HEITJAN, Даніель Ф .; МЕУЛЬДЕРС, Мішель. (2005). “Множинна імпутація для перевірки моделі: Діаграми із заповненими даними з відсутніми та прихованими даними”. Біометрія 61, 74–85, березень

ГЕЛМАН, Ендрю; МЕНГ, Сяо-Лі; СТЕРН, Хал. (1996). "Пострікальна прогнозована оцінка придатності моделі за допомогою усвідомлених розбіжностей". Statistica Sinica, 6, с. 733-807.

— Маноел Галдіно
джерело