Перехресна валідація проти емпіричного Байєса для оцінки гіперпараметрів

З огляду на ієрархічну модель , я хочу, щоб двоступеневий процес підходив до моделі. Спочатку зафіксуйте жменю гіперпараметрів , а потім зробіть байєсівський висновок щодо решти параметрів . Для фіксації гіперпараметрів я розглядаю два варіанти.$p(x|\phi,\theta)$$\theta$$\phi$

1. Використовуйте емпіричний Байєс (EB) та максимізуйте граничну ймовірність (інтегруючи решту моделі, що містить високі параметри розміру).$p(\mbox{all data}|\theta)$
2. Використовуйте методи перехресної перевірки (CV) , такі як кратна перехресна перевірка, щоб вибрати що максимально збільшує ймовірність .θ p ( дані випробувань | дані про навчання , θ $k$$\theta$$p(\mbox{test data}|\mbox{training data}, \theta)$

Перевага EB полягає в тому, що я можу використовувати всі дані одночасно, тоді як для CV мені потрібно (потенційно) обчислити ймовірність моделі кілька разів і шукати . Показники КВ та КВ у багатьох випадках порівнянні (*), і часто ЕВ швидше оцінити.$\theta$

Запитання: Чи існує теоретичний фундамент, який пов'язує два (скажімо, EB та CV однакові в межах великих даних)? Або пов'язує ЕБ з деяким критерієм узагальнення, наприклад, емпіричним ризиком? Чи може хтось вказати на хороший довідковий матеріал?

(*) Як ілюстрацію, ось цифра з машинного навчання Мерфі , розділ 7.6.4, де він говорить, що для регресії хребта обидві процедури дають дуже схожий результат:

Мерфі також говорить, що принципова практична перевага емпіричного Байєса (він називає це "процедурою доказування") перед CV - це тоді, коли складається з безлічі гіпер-параметрів (наприклад, окремого штрафу за кожну особливість, наприклад, при автоматичному визначенні відповідності або ARD). Там взагалі не можна використовувати резюме.$\theta$

Я сумніваюся, що існує теоретичне посилання, яке говорить про те, що максимізація резюме та доказів асимптотично рівнозначна, оскільки докази свідчать про ймовірність даних, що даються припущеннями моделі . Таким чином, якщо модель неправильно вказана, то докази можуть бути недостовірними. Перехресне підтвердження, з іншого боку, дає оцінку ймовірності даних, чи є припущення моделювання правильними чи ні. Це означає, що докази можуть бути кращим керівництвом, якщо припущення моделювання правильні, використовуючи менше даних, але перехресне підтвердження буде надійним щодо неправильної специфікації моделі. Резюме є асимптотично неупередженим, але я б припустив, що доказів немає, якщо тільки припущення щодо моделі не виявляться абсолютно правильними.

Це по суті моя інтуїція / досвід; Мені також було б цікаво дізнатися про дослідження з цього приводу.

Зауважте, що для багатьох моделей (наприклад, регресія хребта, гауссові процеси, регресія хребта ядра / LS-SVM тощо) перехресне підтвердження відмовлення може бути виконано як мінімум так само ефективно, як оцінка доказів, тому не обов'язково обчислювальної перевага там.

Додаток: І гранична ймовірність, і оцінка перехресної перевірки оцінюються за допомогою кінцевого зразка даних, і, отже, завжди є можливість перевиконання, якщо модель налаштована шляхом оптимізації будь-якого критерію. Для невеликих зразків різниця у дисперсії двох критеріїв може визначити, який найкраще працює. Дивіться мій папір

Гевін К. Каулі, Ніколас Л. Талбот, "Про надмірне входження в вибір моделі та наступні ухили відбору в оцінці продуктивності", Journal of Machine Learning Research, 11 (July): 2079-2107, 2010. ( pdf )

$k$$k$