Jensen Shannon Divergence vs Kullback-Leibler Divergence?

KL Diverjansının simetrik olmadığını ve kesinlikle bir metrik olarak kabul edilemeyeceğini biliyorum. Öyleyse, JS Divergence bir metrik için gerekli özellikleri karşıladığında neden kullanılır?

KL diverjansının kullanılabildiği ancak JS Diverjansının kullanılamadığı ya da tam tersinin olmadığı senaryolar var mı?

Quora'da çok olgun bir cevap buldum ve burada arayan insanlar için buraya koydum:

Kullback-Leibler sapma birkaç güzel özelliklerini, yani içlerinden birine sahiptir tür tiksinen bölgelerin boş olmayan kütle ve sahip boş kütleye sahiptir. Bu bir hata gibi görünebilir, ancak aslında bazı durumlarda bir özelliktir.$𝐾𝐿[𝑞;𝑝]$$𝑞(𝑥)$$𝑝(𝑥)$

Karmaşık (inatçı) bir dağıtım için (izlenebilir) yaklaşık dağılım yaklaşık , dan de çok imkansızdır . bu özelliğe sahip olması kolayca gösterilir: bir vardır. 𝑞 (𝑥) küçük ama küçük olmadığında, sorun değil. Ama küçük, bu çok hızlı olursa büyür da küçük değil. Eğer tercih konum Yani, en aza indirmek için$𝑝(𝑥)$$𝑞(𝑥)$$𝑝(𝑥)$$𝑞(𝑥)$$𝑞(𝑥)𝑙𝑜𝑔[𝑞(𝑥)/𝑝(𝑥)]$$𝑝(𝑥)$$𝑝(𝑥)$$𝑞(𝑥)$$𝑞(𝑥)$$𝐾𝐿[𝑞;𝑝]$Bu çok imkansız olduğunu bölgelere kütlenin bir sürü atar yakın sıfırdır.$𝑞(𝑥)$$𝑝(𝑥)$

Jensen-Shannon sapması bu özelliğe sahip değil. Bu iyi huylu her iki zaman ve küçüktür. O kadar bir dağıtım kesmez o Bu araçlar İçinde imkansız değerleri tadabilirsiniz hangi .$𝑝(𝑥)$$𝑞(𝑥)$$𝑞(𝑥)$$𝑝(𝑥)$

KL diverjansının açık bir bilgi teorik yorumu vardır ve iyi bilinmektedir; ancak KL sapmasının simetrikleşmesine JS sapması denildiğini ilk kez duyuyorum. JS-diverjansının bu kadar sık ​​kullanılmamasının nedeni, muhtemelen daha az bilinmesi ve sahip olması gereken özellikler sunmamasıdır.