Варіативні умовиводи простою англійською мовою

Переглянувши відео на YouTube, я відчуваю, що я не можу реально визначити, що таке варіативні умовиводи. Я можу дотримуватися процедур під час перегляду відео-лекцій про це. Але важко визначити, що насправді є. Сподіваюсь почути про це.

Не ґрунтуючись на моїх знаннях, але ось документ (досить простою англійською мовою), який, на мою думку, є дуже актуальним у питанні: Blei, Kucukelbir & McAuliffe 2016. Variational Inference: Review for Statisticicians . https://arxiv.org/abs/1601.00670

З реферату:

Однією з основних проблем сучасної статистики є наближення важких для розрахунку щільності ймовірностей. Ця проблема є особливо важливою в байєсівській статистиці, яка обчислює всі умовиводи про невідомі величини, як обчислення, пов'язані із задньою щільністю. У цій роботі ми розглядаємо варіативні умовиводи (VI), метод машинного навчання, який наближає щільність ймовірності шляхом оптимізації. VI використовується в багатьох сферах застосування і, як правило, швидше, ніж класичні методи, такі як відбір проб "Монков Карло" ланцюга Маркова. Ідея VI полягає в тому, щоб спочатку поставити сім'ю густоти, а потім знайти члена тієї родини, який близький до цілі. Близькість вимірюється розбіжністю Куллбека-Лейблера. Ми переглядаємо ідеї, що стоять за варіаційним висновком середнього поля, обговорюємо особливий випадок VI, застосований до експоненціальних сімейних моделей, подаємо повний приклад із баєсовою сумішшю гауссів, і виводимо варіант, який використовує стохастичну оптимізацію для масштабування до масивних даних. Ми обговорюємо сучасні дослідження в VI і висвітлюємо важливі відкриті проблеми. VI потужний, але він ще недостатньо вивчений . Ми сподіваємось на написання цього документу - каталізувати статистичні дослідження цього класу алгоритмів.

Вони також пропонують вказівки щодо того, коли статистики повинні використовувати відбір проб Монте-Карло з ланцюга Маркова та коли варіативні умовиводи (див. Пункт Порівняння варіативних висновків та MCMC у статті).