2
Birim Gaussian ile KL Kaybı
Bir VAE uyguluyorum ve basitleştirilmiş tek değişkenli gauss KL sapmasının çevrimiçi olarak iki farklı uygulamasını fark ettim. Uygun olarak, orijinal diverjans burada bir bir birim gaussian olduğunu varsayarsak, ve , bu İşte karışıklığım burada. Yukarıdaki uygulama ile birkaç belirsiz github depoları bulmuş olmama rağmen, daha yaygın olarak kullandığım şey:KLloss=log(σ2σ1)+σ21+(μ1−μ2)22σ22−12KLloss=log(σ2σ1)+σ12+(μ1−μ2)22σ22−12 KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2} …