Запитання з тегом «variational-bayes»

Як працює трюк репараметеризації для варіативних автокодер (VAE)? Чи є інтуїтивне і просте пояснення без спрощення основної математики? І навіщо нам потрібен «трюк»?

57 mathematical-statistics  autoencoders  variational-bayes  generative-models 

Я думаю, що я знаю загальне уявлення про VI та MCMC, включаючи різні аромати MCMC, такі як відбір проб Гіббса, Metropolis Hastings тощо. Цей документ пропонує чудову експозицію обох методів. У мене є такі питання: Якщо я хочу зробити байєсівський висновок, чому я б обрав один метод над іншим? Які …

36 machine-learning  bayesian  mcmc  variational-bayes  approximate-inference 

Я десь прочитав, що метод Варіаційного Байєса - це узагальнення алгоритму ЕМ. Дійсно, ітеративні частини алгоритмів дуже схожі. Щоб перевірити, чи алгоритм ЕМ є спеціальною версією Variational Bayes, я спробував наступне: YYY - це дані, - це збір прихованих змінних, а - параметри. У варіаційних Бейсах ми можемо зробити наближення …

26 bayesian  expectation-maximization  variational-bayes 

майже в усіх прикладах коду, який я бачив у VAE, функції втрат визначаються наступним чином (це тензорфловий код, але я бачив подібне для theano, факела тощо. Це також для convnet, але це також не надто актуально , просто впливає на осі, на які беруться суми): # latent space loss. KL …

26 machine-learning  deep-learning  tensorflow  autoencoders  variational-bayes 

Відповідно до цього та цієї відповіді, автоенкодери здаються технікою, яка використовує нейронні мережі для зменшення розмірів. Мені хотілося б додатково знати, що таке варіаційний автокодер (його основні відмінності / переваги перед «традиційними» автоенкодерами), а також, які основні навчальні завдання для цих алгоритмів використовуються.

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

Я розумію основну структуру варіабельного автокодера та нормальний (детермінований) автокодер і математику, що стоїть за ними, але коли і навіщо я віддаю перевагу одному типу автокодера перед іншим? Все, про що я можу подумати, - це попередній розподіл прихованих змінних варіабельного автокодера, який дозволяє нам вибирати приховані змінні та потім …

20 deep-learning  autoencoders  variational-bayes 

Я вивчаю цей Навчальний посібник з різних автоінкодерів Карла Доерша . На другій сторінці зазначено: Однією з найпопулярніших таких фреймворків є Variational Autoencoder [1, 3], тема цього підручника. Припущення цієї моделі слабкі, і навчання проходить швидко за допомогою зворотного розповсюдження. VAE роблять наближення, але помилка, введена цим наближенням, мабуть, невелика …

15 machine-learning  deep-learning  autoencoders  variational-bayes 

Я читаю про байєсівські умовиводи і натрапив на фразу "числова інтеграція граничної ймовірності занадто дорога" У мене немає досвіду математики, і мені було цікаво, що саме тут означає дороге ? Це просто з точки зору обчислювальної потужності чи є щось більше.

12 bayesian  numerical-integration  variational-bayes  approximate-inference 

На мій (дуже скромний) рівень розуміння варіативного висновку, намагається наблизити невідомий розподіл шляхом пошуку розподілу який оптимізує наступне:qpppqqq KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Щоразу, коли я вкладаю час на розуміння варіативного висновку, я продовжую вражати цією формулою і не можу не відчути, як я пропускаю суть. Здається, мені …

12 variational-bayes 

Яка різниця між автоматичним кодуванням варіабельних баєсів і стохастичним зворотним розповсюдженням для глибоких генеративних моделей ? Чи веде висновок в обох методах до однакових результатів? Мені невідомі явні явні порівняння між двома методами, незважаючи на те, що обидві групи авторів цитують один одного.

10 deep-learning  inference  latent-variable  variational-bayes  sgd 

Я впроваджував VAE і помітив в Інтернеті дві різні реалізації спрощеної універсальної гауссової дивергенції KL. Оригінальна розбіжність, як тут, є КLl o s s= журнал(σ2σ1) +σ21+ (мк1-мк2)22σ22-12КLлосс=журнал⁡(σ2σ1)+σ12+(мк1-мк2)22σ22-12 KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2} Якщо припустити, що наша попередня - це одиниця гаусса, тобто мк2= 0мк2=0\mu_2=0 і σ2= 1σ2=1\sigma_2=1, це спрощує вниз до КLl o s …

10 inference  kullback-leibler  autoencoders  variational-bayes 

Я читаю на варіанті Байєса, і, як я це розумію, зводиться до думки, яку ви наближаєте p ( z∣ x )p(z∣x)p(z\mid x) (де zzz є прихованими змінними вашої моделі та хxx спостережувані дані) з функцією q(z)q(z)q(z), роблячи припущення, що qqq факторизує як qi(zi)qi(zi)q_i(z_i) де ziziz_iє підмножиною прихованих змінних. Тоді може …

10 variational-bayes 

Я працюю над великомірною задачею висновку (близько 2000 параметрів моделі), для якої ми можемо надійно виконати оцінку MAP, знайшовши глобальний максимум журналу заднього за допомогою комбінації оптимізації на основі градієнта та генетичного алгоритму. Я дуже хотів би мати можливість зробити деяку оцінку невизначеностей щодо параметрів моделі на додаток до знаходження …

9 bayesian  uncertainty  high-dimensional  variational-bayes 

Я намагаюся реалізувати модель Гауссової суміші зі стохастичними варіаційними висновками, слідуючи цій роботі . Це пгм суміші Гаусса. Згідно з документом, повний алгоритм стохастичного варіаційного висновку: І я все ще дуже плутаю метод масштабування його до GMM. По-перше, я подумав, що локальний параметр - це просто а інші - все …

9 machine-learning  bayesian  clustering  gaussian-mixture  variational-bayes