ієрархічні баєсові моделі проти емпіричних Баєса

Чи вважаєте ви, що HBM проти EB є двома альтернативами, в яких гіперпараметри "в грі" відбираються / оцінюються / тощо? Між цими двома чітко існує зв'язок.

Чи вважаєте ви, що НВМ більше "повністю байєсівський", ніж ЕБ? Чи є якесь місце, де я можу побачити, які відмінності між "повністю байєсівською" та іншими альтернативами?

Дякую.

Я б сказав, що HBM, безумовно, «більше баєсівський», ніж ЕБ, оскільки маргіналізація - це більше баєсовський підхід, ніж оптимізація. По суті, мені здається, що ЕБ ігнорує невизначеність у гіпер-параметрах, тоді як ГБМ намагається включити її в аналіз. Я підозрюю, що HMB - це гарна ідея, коли мало даних і, отже, значна невизначеність гіпер-параметрів, які необхідно враховувати. З іншого боку, для великих наборів даних ЕБ стає більш привабливим, оскільки він, як правило, менш обчислювально дорогий, а обсяг даних часто означає, що результати значно менш чутливі до параметрів гіперпараметрії.

Я працював над гауссовими класифікаторами процесів і досить часто оптимізував гіперпараметри, щоб максимально збільшити граничну ймовірність, що призведе до надмірного встановлення ML та, отже, до значного погіршення продуктивності генералізації. Я підозрюю, що в цих випадках повне лікування ГБМ було б більш надійним, але й значно дорожчим.