Варіаційний висновок проти MCMC: коли вибрати один над іншим?

Я думаю, що я знаю загальне уявлення про VI та MCMC, включаючи різні аромати MCMC, такі як відбір проб Гіббса, Metropolis Hastings тощо. Цей документ пропонує чудову експозицію обох методів.

У мене є такі питання:

• Якщо я хочу зробити байєсівський висновок, чому я б обрав один метод над іншим?
• Які плюси і мінуси кожного з методів?

Я розумію, що це досить широке питання, але будь-яку думку було б дуже вдячно.

В протягом тривалого відповіді см Blei, Kucukelbir і Маколифф тут . Ця коротка відповідь сильно випливає звідси.

• MCMC асимптотично точний; VI - ні . У межах ліміту MCMC точно наблизить цільовий розподіл. VI поставляється без гарантії.
• MCMC обчислювально дорого . Загалом, VI швидше.

Це означає, що коли ми маємо обчислювальний час для вбивства та оцінюємо точність наших оцінок, MCMC виграє. Якщо ми можемо потерпіти жертви для доцільності - або ми працюємо з даними настільки великими, що нам доведеться зробити компроміс - VI - це природний вибір.

Або, як красномовніше і ретельніше описано вищезазначеними авторами:

Таким чином, варіативні умовиводи підходять для великих наборів даних та сценаріїв, де ми хочемо швидко вивчити багато моделей; MCMC підходить для менших наборів даних та сценаріїв, де ми щасливо сплачуємо більш високі обчислювальні витрати за більш точні вибірки. Наприклад, ми можемо використовувати MCMC в умовах, де ми витратили 20 років на збір невеликого, але дорогого набору даних, де ми впевнені, що наша модель підходить, і де нам потрібні точні умовиводи. Ми можемо використовувати варіативні умовиводи для підгонки ймовірнісної моделі тексту до одного мільярда текстових документів, і де умовиводи будуть використані для подання результатів пошуку великій кількості користувачів. У цьому випадку ми можемо використовувати розподілені обчислення та стохастичну оптимізацію для масштабування та прискорення висновку, і ми можемо легко досліджувати багато різних моделей даних.