Кращий підхід для вибору моделі байесівської або перехресної перевірки?

Коли я намагаюся вибрати серед різних моделей або кількість функцій, які слід включити, скажімо, передбачення, я можу придумати два підходи.

1. Розподіліть дані на навчальні та тестові набори. Ще краще, використовуйте завантажувальну чи перехресну перевірку k-кратну кількість разів. Тренуйтеся на навчальному наборі щоразу і обчислюйте помилку над тестовим набором. Помилка тесту графіку порівняно з кількістю параметрів. Зазвичай ви отримуєте щось подібне:
2. Обчисліть ймовірність моделі, інтегруючи над значеннями параметрів. тобто обчисліть , і побудуйте це на основі кількості параметрів. Потім ми отримуємо щось подібне:$\int_\theta P(D|\theta)P(\theta)d \theta$

Отже, мої запитання:

1. Чи підходять ці підходи для вирішення цієї проблеми (визначення кількості параметрів, які слід включити у вашу модель, або вибір серед кількох моделей)?
2. Вони еквівалентні? Напевно, ні. Чи дадуть вони однакову оптимальну модель за певних припущень чи на практиці?
3. За винятком звичайної філософської різниці у визначенні попередніх знань у байесівських моделях тощо, які плюси та мінуси кожного підходу? Якого б ви вибрали?

Оновлення: я також знайшов відповідне питання щодо порівняння AIC та BIC. Здається, що мій метод 1 асимптотично еквівалентний AIC, а метод 2 асимптотично пов'язаний з BIC. Але я також прочитав там, що BIC еквівалентний CV-рейтингу «Вихід-Один-Вихід». Це означає, що мінімум помилок у навчанні та максимум байєсівської ймовірності є еквівалентними, коли рейтинг CV є еквівалентним CV-кратному. Мабуть, дуже цікава праця " Асимптотична теорія вибору лінійної моделі " Джуна Шао стосується цих питань.

1. Чи підходять ці підходи для вирішення цієї проблеми (визначення кількості параметрів, які слід включити у вашу модель, або вибір серед кількох моделей)?

Будь-хто може бути, так. Якщо ви зацікавлені в тому, щоб отримати модель, яка прогнозує найкраще, зі списку розглянутих моделей підхід розділення / перехресної перевірки може зробити це добре. Якщо вас цікавить, чи відомо, яка з моделей (у вашому списку передбачуваних моделей) насправді є тією, яка генерує ваші дані, то другий підхід (оцінка задньої ймовірності моделей) - це те, що ви хочете.

2. Вони еквівалентні? Напевно, ні. Чи дадуть вони однакову оптимальну модель за певних припущень чи на практиці?

Ні, вони взагалі не є рівнозначними. Наприклад, використання AIC (Інформаційний критерій, від Akaike) для вибору "найкращої" моделі відповідає приблизно перехресній валідації. Використання BIC (байєсівського критерію інформації) відповідає використанню задніх ймовірностей, знову ж таки приблизно. Це не той самий критерій, тому слід очікувати, що вони призведуть до різного вибору в цілому. Вони можуть дати ті самі відповіді - коли модель, яка прогнозує найкраще, теж буває істиною, але в багатьох ситуаціях модель, яка найкраще підходить, насправді є такою, що перевищує, що призводить до розбіжностей між підходами.

Чи згодні вони на практиці? Це залежить від того, що стосується вашої «практики». Спробуйте це обома способами та дізнайтеся.

3. За винятком звичайної філософської різниці у визначенні попередніх знань у байесівських моделях тощо, які плюси та мінуси кожного підходу? Якого б ви вибрали?

• Зазвичай набагато простіше робити обчислення для перехресної перевірки, а не обчислювати задні ймовірності
• Часто важко зробити переконливий випадок, що "справжня" модель входить до списку, з якого ви вибираєте. Це проблема для використання задньої ймовірності, але не перехресної перевірки
• Обидва методи, як правило, передбачають використання досить довільних констант; скільки коштує додаткова одиниця передбачення за кількістю змінних? Наскільки ми віримо кожній із моделей, апріорі ?
  • Я, мабуть, обрав би перехресну перевірку. Але перед тим, як покластися, я хотів би дізнатися багато про те, чому робився цей вибір вибору, тобто для чого обрана модель повинна бути використана. Жодна форма вибору моделі може бути доцільною, якщо, наприклад, потрібні причинно-наслідкові умовиводи.

Оптимізація - корінь всього зла в статистиці! ; o)

Кожен раз, коли ви намагаєтесь вибрати модель на основі критерію, який оцінюється на кінцевій вибірці даних, ви вводите ризик перевиконання критерію вибору моделі і в кінцевому підсумку з гіршою моделлю, ніж ви починали. І перехресне підтвердження, і гранична ймовірність є розумними критеріями вибору моделі, але вони залежать від кінцевої вибірки даних (як AIC та BIC - штраф за складність може допомогти, але не вирішує цю проблему). Я вважаю, що це є суттєвою проблемою в машинному навчанні

GC Cawley та NLC Talbot, Надмірна відповідність вибору моделі та подальша упередженість вибору в оцінці продуктивності, Journal of Machine Learning Research, 2010. Research, vol. 11, стор. 2079-2107, липень 2010 р. ( Www )

З байєсівської точки зору, краще інтегруватись над усіма варіантами та параметрами моделі. Якщо ви нічого не оптимізуєте чи не виберете, то перевантажувати його стає важче. Мінус полягає в тому, що у вас виникають складні інтеграли, які часто потрібно вирішити за допомогою MCMC. Якщо ви хочете найкращих прогнозних показників, я б запропонував повністю байєсівський підхід; якщо ви хочете зрозуміти дані, то вибір найкращої моделі часто корисний. Однак якщо ви переупорядковуєте дані і перетворюєте їх на іншу модель кожен раз, це означає, що процедура встановлення нестабільна, і жодна з моделей не є надійною для розуміння даних.

Зауважимо, що одна важлива відмінність між перехресною валідацією та доказами полягає в тому, що значення граничної ймовірності передбачає, що модель не є точно визначеною (по суті, основна форма моделі є доречною) і може дати хибні результати, якщо вона є. Перехресне підтвердження не передбачає такого припущення, а це означає, що воно може бути трохи більш надійним.