Sezgisel olarak, çapraz entropi neden iki olasılık dağılımının mesafesinin bir ölçüsüdür?

İki ve ayrı dağılımı için , çapraz entropi şu şekilde tanımlanır: $p$ $q$

'H (p, q) = - \underset{x}{Σ} p (x) günlük q (x) .

$H(p,q)=-\sum_x p(x)\log q(x).$

Bunun neden iki olasılık dağılımı arasındaki mesafenin sezgisel bir ölçüsü olacağını merak ediyorum?

Bunu görmek entropisidir , tedbirleri "sürpriz" . , kısmen yerini ölçüsüdür ile . Hala tanımın ardındaki sezgisel anlamı anlamıyorum. $H(p,p)$ $p$ $p$ $H(p,q)$ $p$ $q$

probability distributions cross-entropy

— Kadistar
kaynak

Metriğin (ve mesafenin) matematiksel tanımına bakmanızı öneririm. genellikle, bu özelliklerin izlenmesi bir işlevin bir mesafe olması için izlemesi gereken en düşük şeydir. Umarım yardımcı olur. Bu gibi görünse de

. Sezgisel olarak, KL diverjansının bir parçası olduğu için, entropi p tarafından dengelenen p ve q'nun diverjansını varsayıyorum. Yine de, bu sadece bir tahmin. Ayrıca, diverjans bir metrik / mesafe değildir, bu yüzden Çapraz Entropi ise şaşırırdım.

H (p, q) = H (p) + D_{K L} (p | | q)

$H(p,q) = H(p) + D_{KL}(p || q )$

— Charlie Parker

Sonra Kullback_leibler ıraksamasının anlaşılması çapraz entropinin anlaşılmasına yardımcı olur: stats.stackexchange.com/questions/188903/…

— kjetil b halvorsen

KL Divergence'i açık ve basit bir şekilde açıklayan harika bir video: youtube.com/watch?v=ErfnhcEV1O8

— Katherine Chen

Bu "Çapraz Entropinin Arkasındaki Sezgi" nin yardımcı olup olmadığına bakın: medium.com/@siddharth.4oct/…

— Siddharth Roy

Çapraz entropinin en aza indirilmesi genellikle p'nin gerçek dağılım ve q'nun öğrenilen dağıtım olduğu üretken modellerde bir öğrenme hedefi olarak kullanılır.

P ve q'nun çapraz entropisi p'nin entropisine artı p ve q arasındaki KL sapmasına eşittir.

$H(p, q) = H(p) + D_{KL}(p||q)$

sabit olarak düşünebilirsiniz, çünkü doğrudan eğitim verilerinden gelir ve model tarafından öğrenilmez. Bu nedenle, sadece KL ıraksama terimi önemlidir. Olasılık dağılımları arasındaki bir mesafe olarak KL sapmasının motivasyonu, yaklaşık olarak q yerine p dağılımını kullanarak kaç bilgi bitinin elde edildiğini söylemesidir. $H(p)$ $p$

KL sapmasının uygun bir mesafe metriği olmadığını unutmayın. Birincisi, p ve q'da simetrik değildir. Olasılık dağılımları için bir mesafe metriğine ihtiyacınız varsa, başka bir şey kullanmanız gerekecektir. Ancak, "distance" kelimesini gayri resmi olarak kullanıyorsanız KL diverjansını kullanabilirsiniz.

— Aaron
kaynak

p'yi neden bir sabit olarak düşünebilirsiniz? Ne öğreniyorsun"? q? Orijinal soru öğrenme hakkında bir şey söylemedi, bu yüzden ne demek istediğini daha iyi anlamak istiyorum :)

— Charlie Parker

daha açık hale getirmek için düzenledi. p eğitim verilerinden gelen dağılımdır ve q model tarafından öğrenilir.

— Aaron