KL sapması neden negatif değildir?


18

KL sapması neden negatif değildir?

Bilgi teorisi açısından, bu kadar sezgisel bir anlayışa sahibim:

Diyelim ki etiketlenmiş aynı elemanlardan oluşan iki ve topluluğu var . ve , sırasıyla ve topluluğu üzerinde farklı olasılık dağılımlarıdır .ABxp(x)q(x)AB

Bilgi teorisi perspektifinden bakıldığında, , topluluğu için bir elemanını kaydetmek için gereken en az miktarda bittir . Böylece, beklentisi , bir öğeyi ortalama olarak kaydetmek için en az kaç bit gerektiğimiz şeklinde yorumlanabilir .log2(P(x))xA

xensemblep(x)ln(p(x))
A

Bu formül, ortalama olarak ihtiyacımız olan bitlere bir alt sınır koyduğundan, farklı bir olasılık dağılımı getiren farklı bir topluluğu için, her bir elemanı için verdiği sınır kesinlikle verilen , yani beklenti almak anlamına gelir,Bq(x)xp(x)

xensemblep(x)ln(q(x))
bu ortalama uzunluk kesinlikle öncekinden daha büyük olacaktır, bu da
p(x)veq(x)farklı olduğu içinburaya
xensemblep(x)ln(p(x))ln(q(x))>0
koymam.p(x)q(x)

Bu benim sezgisel anlayışım, KL diverjansının negatif olmadığını kanıtlamanın tamamen matematiksel bir yolu var mı? Sorun şu şekilde ifade edilebilir:

Verilen ve q ( x ) hem gerçek çizgi üzerinde pozitiftir ve + - p ( x ) d x = 1 , + - q ( x ) d x = 1 . Kanıtlamak + - p ( x ) ln p ( x )p(x)q(x)+p(x)dx=1+q(x)dx=1 negatif değildir.

+p(x)lnp(x)q(x)

Bu nasıl kanıtlanabilir? Yoksa bu ekstra koşullar olmadan kanıtlanabilir mi?


1
Fano eşitsizliğinin kanıtını anlarsanız, göreceli entropinin olumsuzluğunu türetmek kolaydır .
Lerner Zhang

Yanıtlar:


30

Kanıt 1:

lnaa1a>0

DKL(p||q)0DKL(p||q)0

D(p||q)=xp(x)lnp(x)q(x)=xp(x)lnq(x)p(x)(a)xp(x)(q(x)p(x)1)=xq(x)xp(x)=11=0

ln

xp(x)log2p(x)xp(x)log2q(x)

xp(x)log2p(x)xp(x)log2q(x)0xp(x)log2p(x)q(x)0

Bunu ayrı bir kanıt olarak dahil etmememin sebebi, eğer Gibbs eşitsizliğini kanıtlamamı isteseydin, KL ıraksamasının olumsuzluğundan başlamam ve aynı kanıtları en baştan yapmam gerekirdi.


i=1nailog2aibi(i=1nai)log2i=1naii=1nbi

DKL(p||q)0

D(p||q)=xp(x)log2p(x)q(x)(b)(xp(x))log2xp(x)xq(x)=1log211=0

burada (b) 'de Log toplam eşitsizliğini kullandık.


Kanıt 3:

(Thomas M. Cover ve Joy A. Thomas'ın "Bilgi Teorisinin Unsurları" kitabından alınmıştır)

D(p||q)=xp(x)log2p(x)q(x)=xp(x)log2q(x)p(x)(c)log2xp(x)q(x)p(x)=log21=0

log

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.