Що означає "варіаційний"?

Чи завжди використання "варіативної" стосується оптимізації за допомогою варіативного висновку?

Приклади:

• "Варіаційний автоматичний кодер"
• "Варіаційні баєсові методи"
• "Варіаційна група ренормалізації"

Це означає використання варіативного висновку (принаймні для перших двох).

Коротше кажучи, це метод наближення максимальної ймовірності, коли щільність ймовірностей ускладнена (і, отже, MLE важко).

Він використовує нижню межу доказів (ELBO) як проксі для ML:

$log(p(x)) \geq \mathbb{E}_q[log(p, Z)] - \mathbb{E}_q[log(q(Z))]$

$q$$Z$

$q$

Є хороший підручник з варіативного висновку Девіда Блей, який ви можете перевірити, чи хочете ви більш конкретного опису.

Редагувати:

$KL(q, p)$