T-SNE amaç fonksiyonunda neden çapraz entropi yerine Kullback-Leibler ayrıntısını kullanıyoruz?

Aklımda, KL örnek dağılımından gerçek dağılıma ayrışma sadece çapraz entropi ve entropi arasındaki farktır.

Neden bir çok makine öğrenme modelinde maliyet fonksiyonu olarak çapraz entropiyi kullanıyoruz, ancak t-sne'de Kullback-Leibler farklılığını kullanıyoruz? Öğrenme hızında herhangi bir fark var mı?

kullback-leibler tsne cross-entropy

— JimSpark
kaynak

KL ile ilgili bazı sezgiler için buraya bakın: stats.stackexchange.com/questions/188903/…

— kjetil b halvorsen

KL ayrımı, iki olasılık dağılımı arasındaki farkı ölçmenin doğal bir yoludur. Entropi bir dağılımı kayıpsız kodlama etkinlik çekilen için (ortalama) tabi mesaj başına bit minimum sayısını verir . Bu sınırın elde edilmesi, daha yüksek olasılık olaylarına daha kısa kod kelimeleri atayan, için tasarlanmış optimal bir kod kullanılmasını gerektirir . beklenen sayısı olarak yorumlanabilir ilave doğru dağıtım çekilen kodlama etkinlikler için gerekli mesaj başına bit $H(p)$ $p$ $p$ $p$ $D_{KL}(p \parallel q)$ $p$ dağıtım yerine için en uygun kodu kullanıyorsanız . Dağılımları karşılaştırmak için bazı güzel özelliklere sahiptir. Örneğin, eğer ve $q$ $p$ $p$ $q$ eşitse, KL sapması 0'dır.

Çapraz entropi doğru dağıtım çekilen kodlama olaylara (ortalama) gerekli mesaj başına bit sayısı olarak yorumlanabilir dağılımı için optimal bir kodu kullanarak, eğer, . Farkı not edin: , mesaj başına ortalama ekstra bit sayısını, mesaj başına ortalama toplam bit sayısını ölçer . Sabit , $H(p, q)$ $p$ $q$ $D_{KL}(p \parallel q)$ $H(p, q)$ $p$ , giderek daha farklı hale geldikçebüyür. Fakat eğer sabit tutulmazsa, farkın mutlak bir ölçüsü olarakyorumlamak zordur, çünkü entropisi ile büyür. $H(p, q)$ $q$ $p$ $p$ $H(p, q)$ $p$

KL sapması ve çapraz entropi şöyledir:

D_{K L} (p ∥ q) ='H (p, q) -'H (p)

$D_{KL}(p \parallel q) = H(p, q) - H(p)$

Bu ifadeden, ve eşit olduğunda, çapraz entropinin sıfır olmadığını; aksine, entropisine eşittir . $p$ $q$ $p$

Çapraz entropi genellikle makine öğreniminde kayıp fonksiyonlarında görülür. Bu durumların çoğunda, 'doğru' dağıtım, ise optimize etmeye çalıştığımız model olarak kabul edilir. Örneğin, sınıflandırma problemlerinde, yaygın olarak kullanılan çapraz entropi kaybı (aka log kaybı ), ampirik dağılım arasındaki çapraz entropiyi ölçer. $p$ $q$ etiketlerin (girdiler verilen) ve sınıflandırıcı tarafından öngörülen . Her veri noktası için ampirik dağılım, basitçe o veri noktası sınıfına 1 ve diğer tüm sınıflara 0 atar. Not: Bu durumda, çapraz entropi, negatif kütük olabilirliği ile orantılı olduğu ortaya çıkar, bu nedenle onu en aza indirmek, olasılığı en üst düzeye çıkarmakla eşdeğerdir.

Not (bu örnekte ampirik dağılım) sabittir. Dolayısıyla, ampirik dağılım ile öngörülen dağılım arasındaki KL ayrışmasını en aza indirdiğimizi söylemek eşdeğer olacaktır. Yukarıdaki ifadede görebileceğimiz gibi, ikisi ek terimiyle ampirik dağılımın entropisi ilişkilidir . Çünkü sabittir, $p$ $H(p)$ $p$ $H(p)$ Modelin parametreleriyle değişmez ve kayıp fonksiyonunda göz ardı edilebilir. Teorik / felsefi nedenlerle KL ayrıntısı hakkında konuşmak isteyebiliriz, ancak bu durumda, optimizasyon problemini çözme perspektifinden eşdeğerdirler. Bu, değişebileceği diğer çapraz entropi ve KL sapma kullanımları için doğru olmayabilir. $p$

$p$ $q$ $D_{KL}(p \parallel q)$ $p$ $q_{j \mid i}$ $p_{j \mid i}$ Kullback-Leibler ayrışmasıdır (bu durumda bir katkı sabitine kadar çapraz entropiye eşittir). "

van der Maaten ve Hinton (2008) . T-SNE kullanarak verileri görselleştirme.

— user20160
kaynak

Her nasılsa 'favori' cevapları alabilir miyim? Bunu kurtarmak istiyorum çünkü çok güzel bir açıklama

— zwep

Teşekkürler, bu size yardımcı oldu. Oylama düğmelerinin altındaki yıldız simgesine tıklayarak, bir başlığın tamamını kaydetmek için bir soruyu favori olarak işaretleyebilirsiniz. Sık kullanılanlar listenizi hesap sayfanızda görüntüleyebilirsiniz.

— user20160