Wasserstein metriğinin Kullback-Leibler sapmalarına göre avantajları nelerdir?

Wasserstein metriği ve Kullback-Leibler sapması arasındaki pratik fark nedir ? Wasserstein metriği, ayrıca Dünya'ya taşınanların mesafesi olarak da adlandırılır .

Wikipedia'dan:

Wasserstein (veya Vaserstein) metriği, belirli bir metrik uzay M üzerindeki olasılık dağılımları arasında tanımlanan bir mesafe fonksiyonudur.

ve

Kullback - Leibler ayrışması, bir olasılık dağılımının ikinci beklenen olasılık dağılımından nasıl ayrıldığının bir ölçüsüdür.

KL'nin makine öğrenmesi uygulamalarında kullanıldığını gördüm, ancak geçenlerde Wasserstein metriğine rastladım. Birini veya diğerini ne zaman kullanacağınız konusunda iyi bir kılavuz var mı?

( WassersteinVeya ile yeni bir etiket oluşturmak için yeterli itibarım yok Earth mover's distance.)

Kl farklılık kıyasla, metrik Wasserstein avantajları göz önüne alındığında, daha sonra en belirgin bir kl diverjans değil ise kl simetrik olmadığı W (yani, bir ölçüm olduğunu genel olarak) ve üçgen eşitsizlik tatmin etmez (örneğin, D K L ( R | | P ) ≤ D K L ( S | | P ) + D $D_{KL}(P||Q) \neq D_{KL}(Q||P)$genel olarak tutmaz).$D_{KL}(R||P) \leq D_{KL}(Q||P) + D_{KL}(R||Q)$

Pratik fark söz konusu olduğunda, en önemlilerinden biri, KL (ve diğer birçok önlemlerin) aksine, Wasserstein'ın metrik boşluğu hesaba katması ve bunun daha az soyut terimlerle ne anlama geldiğinin belki de en iyi şekilde açıklanabileceği (atlamaktan çekinmeyin) rakam, sadece üretmek için kod):

# define samples this way as scipy.stats.wasserstein_distance can't take probability distributions directly
sampP = [1,1,1,1,1,1,2,3,4,5]
sampQ = [1,2,3,4,5,5,5,5,5,5]
# and for scipy.stats.entropy (gives KL divergence here) we want distributions
P = np.unique(sampP, return_counts=True)[1] / len(sampP)
Q = np.unique(sampQ, return_counts=True)[1] / len(sampQ)
# compare to this sample / distribution:
sampQ2 = [1,2,2,2,2,2,2,3,4,5]
Q2 = np.unique(sampQ2, return_counts=True)[1] / len(sampQ2)

fig = plt.figure(figsize=(10,7))
fig.subplots_adjust(wspace=0.5)
plt.subplot(2,2,1)
plt.bar(np.arange(len(P)), P, color='r')
plt.xticks(np.arange(len(P)), np.arange(1,5), fontsize=0)
plt.subplot(2,2,3)
plt.bar(np.arange(len(Q)), Q, color='b')
plt.xticks(np.arange(len(Q)), np.arange(1,5))
plt.title("Wasserstein distance {:.4}\nKL divergence {:.4}".format(
    scipy.stats.wasserstein_distance(sampP, sampQ), scipy.stats.entropy(P, Q)), fontsize=10)
plt.subplot(2,2,2)
plt.bar(np.arange(len(P)), P, color='r')
plt.xticks(np.arange(len(P)), np.arange(1,5), fontsize=0)
plt.subplot(2,2,4)
plt.bar(np.arange(len(Q2)), Q2, color='b')
plt.xticks(np.arange(len(Q2)), np.arange(1,5))
plt.title("Wasserstein distance {:.4}\nKL divergence {:.4}".format(
    scipy.stats.wasserstein_distance(sampP, sampQ2), scipy.stats.entropy(P, Q2)), fontsize=10)
plt.show()

Burada, kırmızı ve mavi dağılımlar arasındaki önlemler, KL ayrımı için aynıdır, oysa Wasserstein mesafesi, olasılık kütlesini kırmızı yoldan mavi duruma “yol” olarak x ekseni kullanarak taşımak için gereken işi ölçer. Bu ölçü açıktır ki, olasılık kütlesi ne kadar uzaksa o kadar büyüktür (bu nedenle takma toprak hareketinin mesafesi). Hangisini kullanmak istediğinizi uygulama alanınıza ve neyi ölçmek istediğinize göre ayarlayabilirsiniz. Not olarak, KL sapması yerine, uygun ölçümler olan Jensen-Shannon mesafesi gibi başka seçenekler de vardır.

Wasserstein metriği, en yaygın olarak, hedefin, belirli bir yapılandırmadan, istenen maliyeti en düşük maliyet veya en düşük mesafedeki bir konfigürasyona taşımak olduğu optimum taşıma problemlerinde ortaya çıkar. Kullback-Leibler (KL) bir ayrışmadır (bir metrik değildir) ve istatistik, makine öğrenmesi ve bilgi teorisinde çok sık görülür.

Ayrıca, Wasserstein metriği , her iki önlemin de aynı olasılık alanı üzerinde olmasını gerektirmezken , KL farklılığı , her iki önlemin de aynı olasılık alanı üzerinde tanımlanmasını gerektirir .

Wasserstein mesafesi ile KL sapması arasındaki farkı görmek için belki de en kolay nokta, her ikisinin de kapalı form çözümleri olan çok değişkenli Gaussian durumundadır. Diyelim ki bu dağılımların $k$ boyutu , $\mu_i$ ve kovaryans matrisleri var.$\Sigma_i$$i=1,2$

$$W_{2} (\mathcal{N}_0, \mathcal{N}_1)^2 = \| \mu_1 - \mu_2 \|_2^2 + \mathop{\mathrm{tr}} \bigl( \Sigma_1 + \Sigma_2 - 2 \bigl( \Sigma_2^{1/2} \Sigma_1 \Sigma_2^{1/2} \bigr)^{1/2} \bigr)$$ $$D_\text{KL} (\mathcal{N}_0, \mathcal{N}_1) = \frac{1}{2}\left( \operatorname{tr} \left(\Sigma_1^{-1}\Sigma_0\right) + (\mu_1 - \mu_0)^\mathsf{T} \Sigma_1^{-1}(\mu_1 - \mu_0) - k + \ln \left(\frac{\det\Sigma_1}{\det\Sigma_0}\right) \right).$$ $\Sigma_1=\Sigma_2=wI_k$$\mu_1\neq\mu_2$$0$$-k$ terim ve log-determinant oranı da $0$ $$W_{2} (\mathcal{N}_0, \mathcal{N}_1)^2 = \| \mu_1 - \mu_2 \|_2^2$$ ve $$D_\text{KL} (\mathcal{N}_0, \mathcal{N}_1) = (\mu_1 - \mu_0)^\mathsf{T} \Sigma_1^{-1}(\mu_1 - \mu_0).$$ Varyans değişirse Wasserstein mesafesinin değişmediğine dikkat edin (örneğin $w$kovaryans matrislerinde büyük bir miktar olduğu gibi) oysa KL sapması yapar. Bunun nedeni, Wasserstein mesafesinin iki olasılık ölçüsünün eklem destek alanlarındaki bir mesafe işlevi olmasıdır. Buna karşılık, KL sapması bir sapmadır ve bu sapma, dağılımların bilgi alanına (sinyal-gürültü oranı) dayanarak değişir.

Wasserstein metriği, modellerin onaylanmasında yararlıdır çünkü üniteleri yanıtın kendisindedir. Örneğin, aynı sistemin iki stokastik gösterimini karşılaştırıyorsanız (örneğin, azalan bir sipariş modeli),$P$ ve $Q$ve cevap, yer değiştirme birimleridir, Wasserstein metriği de yer değiştirme birimleri içindedir. Stokastik temsilciliğinizi deterministik bir duruma indirdiyseniz, her birinin dağılımının CDF'si bir adım fonksiyonudur. Wasserstein metriği, değerlerin farkıdır.

Bu özelliği iki rastgele değişken arasındaki mutlak fark hakkında konuşmak için çok doğal bir uzantı olarak buluyorum