Варіаційні Бейс поєднується з Монте-Карло

Я читаю на варіанті Байєса, і, як я це розумію, зводиться до думки, яку ви наближаєте $p(z\mid x)$ (де $z$ є прихованими змінними вашої моделі та $x$ спостережувані дані) з функцією $q(z)$ , роблячи припущення, що $q$ факторизує як $q_i(z_i)$ де $z_i$ є підмножиною прихованих змінних. Тоді може бути показано, що оптимальний коефіцієнт $q_i(z_i)$ є:

q_{i}^{*} (z_{i}) = ⟨ \ln p (x, z) ⟩_{z / i} + const.

$q^*_i(z_i) = \langle \ln p(x, z)\rangle_{z/i} + \text{const.}$

Де кутові дужки позначають очікування щодо всіх прихованих змінних, крім $z_i$ щодо розподілу $q(z)$ .

Тепер цей вираз зазвичай оцінюється аналітично, щоб дати точну відповідь на приблизне цільове значення. Однак мені спало на думку, що, оскільки це очікування, очевидним є підхід до наближення цього очікування шляхом вибірки. Це дасть вам приблизну відповідь на приблизну цільову функцію, але це створює дуже простий алгоритм, можливо для випадків, коли аналітичний підхід недоцільний.

Моє запитання, чи це відомий підхід ? Чи має це ім’я? Чи є причини, чому це може не працювати так добре, або не може дати такий простий алгоритм?

variational-bayes

— Петро
джерело

Я думаю, що більшою проблемою буде заниження невизначеності, яку типово створюють наближення VB.

— ймовірністьлогічний

Зізнаюся, це не дуже добре відомий мені домен, тому візьміть це з зерном солі.

Перш за все, зауважте, що те, що ви пропонуєте, не дає такого простого алгоритму: для обчислення нового $q^\star_i$ , нам не потрібно обчислювати єдине очікуване значення (наприклад, середнє значення або дисперсію), а очікуване значення цілої функції. Це обчислювально важко і вимагатиме від вас приблизного значення $q^\star$ деякими $\tilde q$ (наприклад, ми можемо знайти наближення гістограми)

Але, якщо ви збираєтесь обмежувати $q_i$ Для невеликого параметричного сімейства кращою ідеєю може бути використання стохастичного градієнтного спуску для пошуку найкращих значень параметрів (див.: Варіаційний байєсівський висновок при стохастичному пошуку, 2012, Пейслі, Блей, Йорданія). Градієнт, який вони обчислюють, дуже схожий на те, що ви написали: вони вибирають з усіх наближень, які вони наразі не оптимізують.

Отже, те, що ви пропонуєте, не так-то просто, але це досить близько до фактичного методу, який був запропонований зовсім недавно

— Гійом Дехен
джерело