2
KL Втрата з одиницею Гаусса
Я впроваджував VAE і помітив в Інтернеті дві різні реалізації спрощеної універсальної гауссової дивергенції KL. Оригінальна розбіжність, як тут, є КLl o s s= журнал(σ2σ1) +σ21+ (мк1-мк2)22σ22-12КLлосс=журнал(σ2σ1)+σ12+(мк1-мк2)22σ22-12 KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2} Якщо припустити, що наша попередня - це одиниця гаусса, тобто мк2= 0мк2=0\mu_2=0 і σ2= 1σ2=1\sigma_2=1, це спрощує вниз до КLl o s …