47

KL diverjansının arkasındaki sezgiyi, bir model dağılım fonksiyonunun verinin teorik / doğru dağılımından ne kadar farklı olduğunu öğrendim. Okuyorum kaynak bu iki dağılım arasındaki 'mesafeye' sezgisel anlayış yararlıdır, ancak iki dağılımlar için çünkü tam anlamıyla alınması gerektiğini söylemeye devam ediyor ve , KL Iraksama içinde simetrik değildir ve . $P$ $Q$ $P$ $Q$

Son ifadeyi nasıl anlayacağımı bilmiyorum ya da 'mesafe' sezgisinin bozulduğu yer burası mı?

Basit ama anlayışlı bir örneği takdir ediyorum.

— CGO
kaynak

3

Bence geri adım atmanız ve tipik olarak gerçek popülasyon dağılımı ile örnek (veya gerçek ve model) vb arasındaki istatistiklerde bir asimetriye sahip olduğunuzu anlamak zorunda olduğunuzu ve KL Divergence'in yansıttığı şey olduğunu düşünüyorum. Bu ayrım genellikle ve simetrik bir metrik daha mantıklı değil

— seanv507

1

Hangi "kaynak" okuyordun?

— nbro

34

A (metrik) uzaklık simetrik olmalıdır, yani . Ancak, tanımdan, değildir. $D$ $D(P,Q) = D(Q,P)$ $KL$

Örnek: $\Omega = \{A,B\}$ , $P(A) = 0.2, P(B) = 0.8$ , $Q(A) = Q(B) = 0.5$ .

Sahibiz:

K L (P, Q) = P (A) \log \frac{P (A)}{Q (A)} + P (B) \log \frac{P (B)}{Q (B)} \approx 0.19

$KL(P,Q) = P(A)\log \frac{P(A)}{Q(A)} + P(B) \log \frac{P(B)}{Q(B)} \approx 0.19$

ve

K L (Q, P) = Q (A) \log \frac{Q (A)}{P (A)} + Q (B) \log \frac{Q (B)}{P (B)} \approx 0.22

$KL(Q,P) = Q(A)\log \frac{Q(A)}{P(A)} + Q(B) \log \frac{Q(B)}{P(B)} \approx 0.22$

dolayısıyla ve dolayısıyla (metrik) bir mesafe değildir. $KL(P,Q) \neq KL(Q,P)$ $KL$

— mik
kaynak

50

Diğer mükemmel cevaplara, başka bir bakış açısına sahip, belki de daha fazla sezgi ekleyebilecek bir cevap eklenmiştir.

Kullback-Leibler sapması Hangi dağılımın , ve verilerini oluşturduğuna dair iki hipoteziniz varsa, o zaman

KL (P | | Q) = \int_{- \infty}^{\infty} p (x) \log \frac{p (x)}{q (x)} d x

$\DeclareMathOperator{\KL}{KL} \KL(P || Q) = \int_{-\infty}^\infty p(x) \log \frac{p(x)}{q(x)} \; dx$

X

$X$

P

$P$

Q

$Q$

test etmek için olabilirlik oranı

karşı

. Yukarıdaki Kullback-Leibler ayrılmasının alternatif hipotez altındaki mantıksızlık oranının beklenen değeri olduğunu görüyoruz. Öyleyse,

,

boş hipoteziolduğunda bu test probleminin zorluğunun bir ölçüsüdür. Yani asimetri

\frac{p (x)}{q (x)}

$\frac{p(x)}{q(x)}$

H_{0} : Q

$H_0 \colon Q$

H_{1} : P

$H_1 \colon P$

KL (P | | Q)

$\KL(P || Q)$

Q

$Q$

KL (P | | Q) \neq KL (Q | | P)

$\KL(P || Q) \not= \KL(Q || P)$ basit ve boş hipotez arasındaki asimetriyi yansıtıyor.

Buna belirli bir örnekte bakalım. Let olmak dağılımı ve (aşağıdaki sayısal exampe standart normal dağılım ). Ayrışmayı tanımlayan integral karmaşık görünüyor, bu yüzden basitçe R'deki sayısal bütünleşmeyi kullanalım: $P$ $t_\nu$ $Q$ $\nu=1$

> lLR_1  <-  function(x) {dt(x, 1, log=TRUE)-dnorm(x, log=TRUE)}  
> integrate(function(x) dt(x, 1)*lLR_1(x), lower=-Inf, upper=Inf)
Error in integrate(function(x) dt(x, 1) * lLR_1(x), lower = -Inf, upper = Inf) : 
  the integral is probably divergent

> lLR_2  <-  function(x) {-dt(x, 1, log=TRUE)+dnorm(x, log=TRUE)}  
> integrate(function(x) dnorm(x)*lLR_2(x), lower=-Inf, upper=Inf)
0.2592445 with absolute error < 1e-07

Birinci durumda, integral sayısal olarak birbirinden uzaklaşıyor gibi görünmektedir, bu durum farklılığın çok büyük ya da sonsuz olduğunu göstermektedir, ikinci durumda küçüktür, özetleyen: İlk vaka, burada @ Xi'an tarafından cevap olarak analitik sembolik bütünleşme ile doğrulanmıştır:Kullback-Leibler (KL) sapmasının maksimum değeri nedir.

KL (P | | Q) \approx \infty KL (Q | | P) \approx 0.26

$\KL(P || Q) \approx \infty \\ \KL(Q || P) \approx 0.26$

Bu bize pratik anlamda ne anlatıyor? Boş modeli standart normal dağılım ancak veriler elde edilirse -Dağıtım, o zaman null adlı reddetmek oldukça kolaydır! Bir Veri -Dağıtım Normal dağıtılan verileri gibi görünmüyor. Diğer durumda, roller değiştirilir. Boş değer ancak veriler normaldir. Ancak normal dağıtılmış veriler verisine benzeyebilir , bu yüzden bu problem çok daha zor! Burada örneklem büyüklüğümüz var ve normal bir dağılımdan gelebilecek her veri de bir gelebilirdi. $t_1$ $t_1$ $t_1$ $t_1$ $n=1$ $t_1$ ! Rolleri değiştirmek, fark etmek, çoğunlukla aykırı rollerden gelir.

Alternatif dağılımda ( ), sıfır (normal) modelde çok küçük bir olasılık olan, büyük bir sapma veren bir numune alma olasılığı vardır. Ancak alternatif dağılım normal olduğunda, elde edebileceğimiz tüm veriler boş modeli altında ılımlı bir olasılığa (gerçekten, yoğunluk ...) sahip olacak , bu nedenle ayrışma küçük. $t_1$ $t_1$

Buradaki cevabımla ilgilidir: Neden normal hatalar yerine t hataları kullanmalıyız?

— kjetil b halvorsen
kaynak

22

Her şeyden önce, simetri koşulunun ihlali, Kullback-Leibler sapması ile en küçük problemdir. üçgen eşitsizliğini de ihlal ediyor. Simetrik versiyonu , ancak bu hala metrik değildir, çünkü hem hem de $D(P||Q)$

S K L (P, Q) = D (P | | Q) + D (Q | | P)

$SKL(P, Q) = D(P||Q) + D(Q||P)$

D (P | | Q)

$D(P||Q)$

üçgen eşitsizliğini ihlal ediyor. Kuyruklardan çok daha az kafa üreten üç taraflı A, B & C sikkelerinin alındığını kanıtlamak için, örn. Kafa olasılıkları olan madeni paralar: A = 0.1, B = 0.2 ve C = 0.3. Her iki durumda da düzenli KL sapma D veya onun simetrik versiyonu SKL, değil Fullfil üçgen eşitsizliği yapmak kontrol

S K L (P, Q)

$SKL(P, Q)$

D (A | | B) + D (B | | C) ⪈ D (A | | C)

$D(A||B) + D(B||C) \ngeqslant D(A||C)$

Sadece bu formülleri kullanın:

S K L (A, B) + S K L (B, C) ⪈ S K L (A, C)

$SKL(A, B) + SKL(B, C) \ngeqslant SKL(A, C)$

D (P | | Q) = \sum_{i} p_{i} \cdot \log (\frac{p_{i}}{q_{i}})

$D(P||Q) = \sum\limits_{i}p_i \cdot \log(\frac{p_i}{q_i})$

S K L (P, Q) = \sum_{i} (p_{i} - q_{i}) \cdot \log (\frac{p_{i}}{q_{i}})

$SKL(P, Q) = \sum\limits_{i}(p_i - q_i) \cdot \log(\frac{p_i}{q_i})$

D (A | | B) = 0.1 \cdot \log (\frac{0.1}{0.2}) + 0.9 \cdot \log (\frac{0.9}{0.8}) \approx 0.0159

$D(A||B) = 0.1 \cdot \log(\frac{0.1}{0.2}) + 0.9 \cdot \log(\frac{0.9}{0.8}) \approx 0.0159$

D (B | | C) \approx 0.0112

$D(B||C) \approx 0.0112$

D (A | | C) \approx 0.0505

$D(A||C) \approx 0.0505$

0.0159 + 0.0112 ⪈ 0.0505

$0.0159 + 0.0112 \ngeqslant 0.0505$

S K L (A, B) \approx 0.0352

$SKL(A, B) \approx 0.0352$

S K L (B, C) \approx 0.0234

$SKL(B, C) \approx 0.0234$

S K L (A, C) \approx 0.1173

$SKL(A, C) \approx 0.1173$

0.0352 + 0.0234 ⪈ 0.1173

$0.0352 + 0.0234 \ngeqslant 0.1173$

$D(P||Q)$ $D(P||Q)$

$\sqrt{1 - [\sum\limits_{x} \sqrt{p(x)q(x)}]}$

— Adam Przedniczek
kaynak

7

Eğer biri aslında KL diverjansına daha yakın bir bağlantıya sahip bir metriğe sahip olmakla ilgileniyorsa, Bhattacharyya'nın yerine Jensen-Shannon diverjansının karekökünü düşünebilirler.

— kardinal

5

Burada, sorunuza tamamen sezgisel bir cevap vermeye teşvik ediyorum. Söylediklerinizi yeniden ifade ederek, KL sapması bir Hilbert uzayındaki iki veri seti arasındaki mesafeyi hesapladığınız gibi iki dağıtım arasındaki mesafeyi ölçmenin bir yoludur, ancak biraz dikkatli olunmalıdır.

$L_2$

$Q$ $P$ $KL(P, Q)$ $P$ $Q$ $P$ $KL(Q, P)$ $P$ $Q$ $Q$

— meduz
kaynak

4

Bilgi Teorisinin Öğeleri ders kitabı bize bir örnek verir:

Örneğin, rastgele değişkenin gerçek dağılımını p bilseydik, ortalama tanım uzunluğu H (p) olan bir kod oluşturabilirdik. Bunun yerine q kodunu bir dağıtım için kullanırsak, rastgele değişkeni tanımlamak için ortalamada H (p) + D (p || q) bitlerine ihtiyacımız olacaktır.

Yukarıdaki ifadeyi deşifre etmek için, eğer bilgi dağılımını değiştirirsek (q'dan p'ye), yeni dağılımı kodlamak için ortalama D (p || q) ekstra bitlere ihtiyacımız olduğunu söyleyebiliriz.

Bir örnek

Bunun bir dilini doğal dil işlemesinde kullanarak açıklayayım.

İnsanların büyük bir grup, B etiketli, aracılar olduğunu düşünün ve bunların her birinden bir isim seçmek için bir görev verilir turkey, animalve bookve C iletim bunu vermek bunların bir e-posta her gönderebilir bir adam adı A yoktur Onlara bazı ipuçları. Gruptaki hiç kimse e-postayı almadıysa, kaşlarını kaldırabilir ve C'nin ihtiyaç duyduğu şeyi düşünerek bir süre tereddüt edebilir. Ve her bir seçeneğin seçilme olasılığı 1/3. Tamamen tekdüze dağılım (eğer değilse, kendi tercihleri ile ilgili olabilir ve biz bu davaları görmezden geliriz).

Ancak, eğer bir fiil verilirse baste, bunların 3 / 4'ü seçim yapabilir turkeyve 3 animal/ 16'ları seçer ve 1 / 16'ları seçer book. O zaman fiilleri öğrendikten sonra arabulucuların her biri ortalama olarak ne kadar bilgi edindi? Bu:

\begin{aligned} D (p (n o u n s | b a s t e) | | p (n o u n s)) & = \sum_{x \in {t u r k e y, a n i m a l, b o o k}} p (x | b a s t e) \log_{2} \frac{p (x | b a s t e)}{p (x)} \\ = \frac{3}{4} * \log_{2} \frac{\frac{3}{4}}{\frac{1}{3}} + \frac{3}{16} * \log_{2} \frac{\frac{3}{16}}{\frac{1}{3}} + \frac{1}{16} * \log_{2} \frac{\frac{1}{16}}{\frac{1}{3}} \\ = 0.5709 b i t s \end{aligned}

$\begin{align*} D(p(nouns|baste)||p(nouns)) &= \sum_{x\in\{turkey, animal, book\}} p(x|baste) \log_2 \frac{p(x|baste)}{p(x)} \\ &= \frac{3}{4} * \log_2 \frac{\frac{3}{4}}{\frac{1}{3}} + \frac{3}{16} * \log_2\frac{\frac{3}{16}}{\frac{1}{3}} + \frac{1}{16} * \log_2\frac{\frac{1}{16}}{\frac{1}{3}}\\ &= 0.5709 \space \space bits\\ \end{align*}$

Peki ya verilen fiil ise read? Hepsinin booktereddüt etmeden seçeceğini düşünebiliriz , o zaman fiili her arabulucu için ortalama bilgi kazancı readşudur:

\begin{aligned} D (p (n o u n s | r e a d) | | p (n o u n s)) & = \sum_{x \in {b o o k}} p (x | r e a d) \log_{2} \frac{p (x | r e a d)}{p (x)} \\ = 1 * \log_{2} \frac{1}{\frac{1}{3}} \\ = 1.5849 b i t s \end{aligned}

$\begin{align*} D(p(nouns|read)||p(nouns)) &= \sum_{x\in\{book\}} p(x|read) \log_2 \frac{p(x|read)}{p(x)} \\ &= 1 * \log_2 \frac{1}{\frac{1}{3}} \\ & =1.5849 \space \space bits \\ \end{align*}$ read

Hikayemize devam edelim. C, ismin yanlış olabileceğinden şüpheleniyorsa, çünkü A, yanlış fiilleri arabuluculara göndererek hata yaptığını söyledi. Öyleyse, bitlerdeki bu kadar kötü bir haber ne kadar bilgi C verebilir?

baste

\begin{aligned} D (p (n o u n s) | | p (n o u n s | b a s t e)) & = \sum_{x \in {t u r k e y, a n i m a l, b o o k}} p (x) \log_{2} \frac{p (x)}{p (x | b a s t e)} \\ = \frac{1}{3} * \log_{2} \frac{\frac{1}{3}}{\frac{3}{4}} + \frac{1}{3} * \log_{2} \frac{\frac{1}{3}}{\frac{3}{16}} + \frac{1}{3} * \log_{2} \frac{\frac{1}{3}}{\frac{1}{16}} \\ = 0.69172 b i t s \end{aligned}

$\begin{align*} D(p(nouns)||p(nouns|baste)) &= \sum_{x\in\{turkey, animal, book\}} p(x) \log_2 \frac{p(x)}{p(x|baste)} \\ &= \frac{1}{3} * \log_2 \frac{\frac{1}{3}}{\frac{3}{4}} + \frac{1}{3} * \log_2\frac{\frac{1}{3}}{\frac{3}{16}} + \frac{1}{3} * \log_2\frac{\frac{1}{3}}{\frac{1}{16}}\\ &= 0.69172 \space \space bits\\ \end{align*}$

read

\begin{aligned} D (p (n o u n s) | | p (n o u n s | b a s t e)) & = \sum_{x \in {b o o k, *, *}} p (x) \log_{2} \frac{p (x)}{p (x | b a s t e)} \\ = \frac{1}{3} * \log_{2} \frac{\frac{1}{3}}{1} + \frac{1}{3} * \log_{2} \frac{\frac{1}{3}}{0} + \frac{1}{3} * \log_{2} \frac{\frac{1}{3}}{0} \\ = \infty b i t s \end{aligned}

$\begin{align*} D(p(nouns)||p(nouns|baste)) &= \sum_{x\in\{book, *, *\}} p(x) \log_2 \frac{p(x)}{p(x|baste)} \\ &= \frac{1}{3} * \log_2 \frac{\frac{1}{3}}{1} + \frac{1}{3} * \log_2\frac{\frac{1}{3}}{0} + \frac{1}{3} * \log_2\frac{\frac{1}{3}}{0}\\ &= \infty \space \space bits\\ \end{align*}$

C hiçbir zaman diğer iki ismin ne olacağını bilmediğinden ve kelime haznesindeki herhangi bir kelimenin mümkün olabileceğini bilmediğinden.

KL sapmasının asimetrik olduğunu görebiliriz.

Umarım haklıyım, lütfen yorum yapıp düzeltmeme yardımcı olmayın. Şimdiden teşekkürler.

— Lerner Zhang
kaynak

Kullback-Leibler (KL) Ayrıntısı Sezgisi

Bir örnek