Kullback-Leibler (KL) diverjansının maksimum değeri nedir

Python kodumda KL sapmasını kullanacağım ve bu öğreticiyi aldım .

Bu derste KL ıraksama uygulamak oldukça basittir.

kl = (model * np.log(model/actual)).sum()

Anlıyorum gibi, olasılık dağılımı modelve actual<= 1 olmalıdır.

Benim sorum, k'nin maksimum bağlı / maksimum değeri nedir? Kodumda maksimum sınır için olduğu gibi kl mesafesinin maksimum değerini bilmeliyim.

Ya da bir destek diğerinden çok daha şişman bir kuyruğa sahip olduğunda, aynı destekle bile. Al olduğunda p ( x ) = Cauchy yoğunluğu ⏞

$$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$$ sonra KL(p||S)=∫ $$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$$ ve ∫ $$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$$ Sınırlı kalan başka mesafeler var, örneğin $$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$$

• toplam varyasyon mesafeye denk bir mesafe,$L¹$
• Wasserstein mesafeleri
• Hellinger mesafesi

Aynı desteğe sahip olmayan dağıtımlar için KL sapması sınırlandırılmaz. Tanıma bakın:

$$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$$

P ve Q aynı destek varsa, bazı nokta var ve kl sonsuza gitmek yapma. Bu, sizin durumunuz olan ayrık dağıtımlar için de geçerlidir.$x'$$p(x') \neq 0$$q(x') = 0$

Düzenleme: Belki de olasılık dağılımları arasındaki farklılığı ölçmek için daha iyi bir seçim, bir metrik olan ve KL diverjansından daha iyi özelliklere sahip olan Wasserstein mesafesi olarak adlandırılır. Derin öğrenmedeki uygulamaları nedeniyle oldukça popüler hale geldi (bkz. WGAN ağları)

Carlos ve Xi'an'ın mükemmel cevaplarına ek olarak, KL diverjansının sonlu olması için yeterli bir koşulun, hem rastgele değişkenlerin aynı kompakt desteğe sahip olması hem de referans yoğunluğunun sınırlandırılması olduğunu belirtmek ilginçtir. . Bu sonuç aynı zamanda maksimum KL ıraksama için örtülü bir sınır oluşturur (aşağıdaki teorem ve kanıtlara bakınız).

---

Teorem: ve yoğunlukları aynı kompakt desteğe ve yoğunluğu bu destek üzerine (yani, sınırlı bir üst sınırı varsa) .$p$$q$$\mathscr{X}$$p$$KL(P||Q) < \infty$

Korumalı: yana kompakt bir destek bulunur olumlu infimum değeri vardır, bu araçlar:$q$$\mathscr{X}$

$$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$$

Benzer şekilde, kompakt desteği bu, bazı pozitif supremum değerinin olduğu anlamına gelir:$p$$\mathscr{X}$

$$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$$

Dahası, bunların her ikisi de aynı destek üzerinde yoğunluk olduğundan ve ikincisi sınırlı olduğundan, . Bunun anlamı şudur ki:$0 < \underline{q} \leqslant \bar{p} < \infty$

$$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$$

Şimdi, izin ikinci üst sınırı, açıkça bu bölgelerde bulunması böylece o:$\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$$0 \leqslant \underline{L} < \infty$

$$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$$

Bu, teoremi kanıtlayan gerekli üst sınırı belirler. $\blacksquare$