“Varyasyon” ne demektir?

"Varyasyonel" kullanımı her zaman varyasyonel çıkarım yoluyla optimizasyonu ifade eder mi?

Örnekler:

• "Varyasyonel otomatik kodlayıcı"
• "Varyasyonel Bayesci yöntemler"
• "Varyasyonel renormalizasyon grubu"

Varyasyonel çıkarım kullanmak anlamına gelir (en azından ilk ikisi için).

Kısacası, olasılık yoğunluğunun karmaşık olduğu (ve dolayısıyla MLE'nin zor olduğu) maksimum olasılığı tahmin etmek için bir yöntemdir.

ML'ye proxy olarak Kanıt Alt Sınırı (ELBO) kullanır:

$log(p(x)) \geq \mathbb{E}_q[log(p, Z)] - \mathbb{E}_q[log(q(Z))]$

Burada (ile gösterilmiş gizli değişkenlere basit dağılımı olan ) -, örneğin varyasyon autoencoders kodlayıcının çıkış normal bir dağılım kullanılır.$q$$Z$

'Varyasyon' adı büyük olasılıkla ELBO'yu optimize eden dağıtımını aradığı gerçeğinden gelir ve bu kurulum, varyasyonlar hesabında, işlevler üzerinde optimizasyonu inceleyen bir alan gibidir (örneğin, bir aile verilen gibi) İki nokta arasındaki 2B eğrilerin en küçük uzunluğunda bir tane bulun).$q$

David Blei'nin varyasyonel çıkarımıyla ilgili daha somut bir açıklama istiyorsanız kontrol edebileceğiniz güzel bir öğretici var .

DÜZENLE:

Aslında tarif ettiğim bir VI tipi: genel olarak farklı ıraksama kullanabilirsiniz (tarif ettiğim KL ıraksama kullanımına karşılık gelir ). Ayrıntılar için bu makaleye bakınız , bölüm 5.2 (alternatif sapmalara sahip VI).$KL(q, p)$