Kullback-Leibler mesafesinin bir uyarlaması?

28

Bu resme bak: görüntü tanımını buraya girin

Kırmızı yoğunluktan bir örnek alırsak, o zaman bazı değerlerin 0.25'ten düşük olması beklenirken, mavi dağılımdan böyle bir örnek üretmek mümkün değildir. Sonuç olarak, Kullback-Leibler kırmızı yoğunluktan mavi yoğunluğa olan mesafe sonsuzdur. Ancak, iki eğri, bazı "doğal anlamda", o kadar belirgin değildir.

İşte benim sorum: Bu iki eğri arasında sınırlı bir mesafeye izin verecek olan Kullback-Leibler mesafesinin bir uyarlaması var mı?

kullback-leibler

— ocram
kaynak

1

Hangi "doğal anlamda" bu eğriler "o kadar da farklı değil"? Bu sezgisel yakınlığın herhangi bir istatistiksel özellik ile nasıl bir ilişkisi var? (Birkaç cevap düşünebilirim ama aklında ne olduğunu merak ediyorum.)

— whuber

1

Şey ... her ikisi de pozitif değerler üzerinde tanımlanmış olarak birbirlerine oldukça yakınlar; ikisi de artar, sonra azalır; Her ikisi de aslında aynı beklenti var; ve Kullback Leibler mesafesi, x ekseninin bir bölümünü kısıtlarsak "küçük" olur ... Fakat bu sezgisel kavramları herhangi bir istatistiksel özelliğe bağlamak için, bu özellikler için kesin bir tanımlamaya ihtiyacım olacak ...

— ocram

en.wikipedia.org/wiki/Statistical_distance

— Saat

18

Devroye, Gyorfi ve Lugosi'nin 3. Bölümüne bakabilirsiniz, Örüntü Tanıma Kuramı Teorisi , Springer, 1996. Özellikle farklılıkları konulu bölüme bakınız. $f$

$f$ Farklılıklar Kullback - Leibler'in bir genellemesi olarak görülebilir (veya alternatif olarak, KL bir Farklılık özel durumu olarak görülebilir). $f$

Genel biçim

D_{f} (p, q) = \int q (x) f (\frac{p (x)}{q (x)}) λ (d x),

$D_f(p, q) = \int q(x) f\left(\frac{p(x)}{q(x)}\right) \, \lambda(dx) ,$

burada , ve ile ilişkili ölçümlere hakim olan bir ölçüdür ve , değerini sağlayan dışbükey bir işlevdir . (Eğer ve Lebesgue ölçüsü bakımından yoğunlukları vardır, sadece gösterim yerine için ve sen iyi gitmek.) $\lambda$ $p$ $q$ $f(\cdot)$ $f(1) = 0$ $p(x)$ $q(x)$ $dx$ $\lambda(dx)$

KL'yi alarak . Hellinger farkını ve alarak toplam varyasyon veya mesafesini elde ederiz.. İkincisi verir $f(x) = x \log x$ $f(x) = (1 - \sqrt{x})^2$ $L_1$ $f(x) = \frac{1}{2} |x - 1|$

D_{T V} (p, q) = \frac{1}{2} \int | p (x) - q (x) | d x

$D_{\mathrm{TV}}(p, q) = \frac{1}{2} \int |p(x) - q(x)| \, dx$

Bu sonuncunun en azından sonlu bir cevap verdiğini unutmayın.

Yoğunluk Tahmini $L_1$ başlıklı bir başka küçük kitapta : Görünümü Devroye, çok güzel değişmezlik özellikleri nedeniyle (diğerleri arasında) bu son mesafenin kullanılmasını şiddetle savunuyor. Bu son kitap, öncekinden daha iyi ele almak için muhtemelen biraz daha zor ve başlıktan da anlaşılacağı gibi, biraz daha uzmanlaşmış.

Zeyilname : Bu soru sayesinde , @Didier'in önerdiği önlemin (sabite kadar) Jensen-Shannon Divergence olarak bilinen olduğunu farkettim. Eğer bu soruya verilen cevaba bağlantıyı takip ederseniz, bu miktarın karekök aslında bir ölçümdür çıkıyor ve daha önce bir özel durum için literatürde tanındı görürsünüz -divergence . Bu sorunun tartışılmasıyla tekerleği kollektifi "yeniden icat ettim" (oldukça hızlı bir şekilde) yaptığımızı ilginç buldum. Aşağıdaki yorumda ona verdiğim yorum @ Didier'in yanıtı daha önce de kabul edildi. Aslında, her yerde, biraz temiz. $f$

— kardinal
kaynak

1

Çok hoş! "Olasılıklı Bir Örüntü Tanıma Kuramı" bulmaya çalışacağım ve 3. bölümünü anlamaya çalışacağım!

— ocram

1

iyi cevap, en sık

mesafesinin yarısını yapan başka bir yol olduğunu tanımladığına dikkat edin .

D_{T V}

$D_{TV}$

L_{1}

$L_1$

— Robin Girard

1

@ robin, yorumunuz için teşekkürler. Evet, bunun farkındayım. Sadece fuarda dağınık bir yabancı sabitten kaçınmaya çalışıyordum. Ama kesinlikle konuşursak haklısın. Buna göre güncelledim.

— kardinal

3

Zeyilname, istatistiklerle karşılaştığım en yararlı bilgi parçası. Bunun için en içten teşekkürlerim. Verdiğiniz referansı burada kolayca yeniden oluşturuyorum: research-repository.st-andrews.ac.uk/bitstream/10023/1591/1/… Endres ve Schindelin, Olasılık dağılımları için yeni bir ölçüm, IEEE Trans. Bilgi Senin. , vol. 49, hayır. 3, Temmuz 2003, s. 1858-1860.

— mü

1

@Didier, her şeyden daha mutlu bir kazaydı. Kimse diğer soruya cevap vermiyordu, bu yüzden Jensen-Shannon Divergence'in ilk sırada ne olduğunu anlamaya karar verdim. Tanımı bulduğumda, iki soruyu da ekim aracılığıyla bağlamak mantıklı görünüyordu. Yararlı bulduğuna sevindim. Saygılarımızla.

— kardinal

19

Kullback-Leibler diverjans arasında ile ilgili olarak zaman sonsuz ile ilgili olarak mutlak sürekli değildir ölçülebilir grubu vardır olup, , öyle ki ve . Ayrıca, KL sapması simetrik değildir, genel olarak $\kappa(P|Q)$ $P$ $Q$ $P$ $Q$ $A$ $Q(A)=0$ $P(A)\ne0$ . Şunu hatırlayın $\kappa(P\mid Q)\ne\kappa(Q\mid P)$ Her iki dezavantajdan kurtulmanın bir yolu, hala KL ayrıntısına dayanıyor,orta noktasını tanıtmak.

κ (P | S) = \int P günlük (\frac{P}{S}) .

$\kappa(P\mid Q)=\int P\log\left(\frac{P}{Q}\right).$

Dolayısıyla,

bir olasılık ölçüsüdür ve

ve

,

ile ilgili olarak daima süreklidir. Bu nedenle bir arasında bir "mesafe" düşünülebilir

ve

, yine KL sapma fakat göre

olarak tanımlanan,

Sonra

R, = \frac{1}{2} (P + S) .

$R=\tfrac12(P+Q).$

R

$R$

P

$P$

Q

$Q$

R

$R$

P

$P$

Q

$Q$

R

$R$

η (P, S) = κ (P | R,) + κ (S | R,) .

$\eta(P,Q)=\kappa(P\mid R)+\kappa(Q\mid R).$

her için negatif olmayan ve sonlu olan

ve

,

anlamda simetrik olduğu

her için

ve

IFF

.

η (P, Q)

$\eta(P,Q)$

P

$P$

Q

$Q$

η

$\eta$

η (P, Q) = η (Q, P)

$\eta(P,Q)=\eta(Q,P)$

P

$P$

Q

$Q$

η (P, Q) = 0

$\eta(P,Q)=0$

P = Q

$P=Q$

Eşdeğer bir formülasyon

η (P, S) = 2 günlük (2) + \int (P günlük (P) + S günlük (S) - (P + S) günlük (P + S)) .

$\eta(P,Q)=2\log(2)+\int \left(P\log(P)+Q\log(Q)-(P+Q)\log(P+Q)\right).$

$P$ $Q$

η (P, S) = min [κ (P | \cdot) + κ (S | \cdot)],

$\eta(P,Q)=\min [\kappa(P\mid \cdot)+\kappa(Q\mid \cdot)],$

Ek 2 @ cardinal, eta'nın aynı zamanda bir farklılığı olduğunu, dışbükey işlev için $\eta$ $f$

f (x) = x günlük (x) - (1 + x) günlük (1 + x) + (1 + x) günlük (2) .

$f(x)=x\log(x)−(1+x)\log(1+x)+(1+x)\log(2).$

— mü
kaynak

2

@Marco, @Didier Piau, Didier'ın öneri @ bir başka özel bir durum olduğu not edilebilir -divergence burada .

f

$f$

f (x) = x \log x - (1 + x) \log (\frac{1 + x}{2})

$f(x) = x \log x - (1+x) \log( \frac{1+x}{2} )$

— kardinal

1

@Marco, @Didier Piau, bazı uyarıcı özelliklere sahip alternatif bir formülasyon ve bu Başka bir deyişle, "ortalama ölçünün entropisi ile" arasındaki fark "dır. Tedbirlerin ortalama entropisi ".

η (P, Q) = \int P \log P + \int Q \log Q - 2 \int R \log R = 2 H (R) - (H (P) + H (Q))

$\eta(P, Q) = \int P \log P + \int Q \log Q - 2 \int R \log R = 2 H(R) - (H(P) + H(Q))$

η (P, Q) = 2 (H (μ (P, Q)) - μ (H (P), H (Q))

$\eta(P,Q) = 2 ( H(\mu(P,Q)) - \mu(H(P), H(Q))$

μ (x, y) = \frac{x + y}{2}

$\mu(x,y) = \frac{x+y}{2}$

\frac{1}{2} η (P, Q)

$\frac{1}{2} \eta(P,Q)$

— Kardinal

3

Bu sadece Jensen-Shannon sapması değil mi?

— Memming

Öyle görünüyor .

— mü

"asgari olasılık ölçütleri kümesinin üstünde." Jensen-Shannon ayrışmasının bu karakterizasyonunu seviyorum. Bir yerlerde bunun bir kanıtı var mı?

— user76284

10

Kolmogorov mesafesi iki dağılımları arasında ve da TDF sup norm. (Bu, CDF'lerin iki grafiği arasındaki en büyük dikey tutarsızlıktır.) varsayımsal bir dağılım olduğu ve bir veri kümesinin ampirik dağılım işlevi olduğu dağıtım testlerinde kullanılır . $P$ $Q$ $P$ $Q$

Bunu KL mesafesinin bir "adaptasyonu" olarak nitelendirmek zordur, ancak "doğal" ve sonlu olmanın diğer gereksinimlerini karşılar.

Bu arada, KL sapması gerçek bir "mesafe" olmadığı için, bir mesafenin tüm aksiyomatik özelliklerini korumak için endişelenmemize gerek yok. Bir monotonik dönüşümü uygulanarak değerleri sonlu yaparken Biz olmayan olumsuzluk özelliğini korumak için sonlu değer için . Örneğin ters teğet iyi sonuç verecektir. $\mathbb{R_+} \to [0,C]$ $C$

— whuber
kaynak

1

Kolmogorov mesafesi ile ilgili öneriniz için teşekkür ederiz. Monotonik dönüşüm hakkında yorumunuzu biraz daha açık hale getirir misiniz? Thx

— ocram

1

\arctan (K L (P, Q))

$\arctan(KL(P,Q))$

f (K L (P, Q))

$f(KL(P,Q))$

f : R_{+} \to [0, C]

$f:\mathbb{R_+} \to [0,C]$

x \geq y

$x \ge y$

f (x) \geq f (y)

$f(x) \ge f(y)$

x, y \geq 0

$x,y \ge 0$

1

Evet, kastettiğim buydu :-) Dönüşümün ne uygulanacağından emin değildim. Şimdi, açık, thx

— ocram

1

\arctan

$\arctan$

π / 2

$\pi/2$

\arctan

$\arctan$

π / 2

$\pi/2$

+ \infty

$+\infty$

— mü

@Didier Evet, dönüştürülen KL farklılığı (tanımladığınız gibi simetrikleştirildiğinde) üçgen eşitsizliğini karşılamayabilir ve bu nedenle bir mesafe olmaz, ancak yine de bir topoloji tanımlar (büyük olasılıkla metrizlenebilir olur). Böylece çok az veya hiç pes edemezsiniz. Bunlardan herhangi birini yapmanın yararları hakkında çok utangaç kalıyorum: Bana öyle geliyor ki, bu sadece KL ayrışmasının sonsuz değerleri ile ilişkili zorlukların üstesinden gelmenin zorlukları üzerine bir kağıdın bir yoludur.

— whuber

2

$P$ $Q$ $\kappa(P \mid Q)$

δ (P, Q) \equiv min [κ (P ∣ Q), κ (Q ∣ P)]

$\delta(P,Q)\equiv \min \big[\kappa(P \mid Q),\kappa(Q \mid P)\big]$

İçsel tutarsızlığı (ya da bayesian referans kriterini) aramak size bu önlem hakkında bazı makaleler verecektir.

Senin durumunda, sonlu olan KL sapmalarını alırsın.

KL'ye bir diğer alternatif önlem Hellinger mesafesidir.

$Q\rightarrow 0$ $P\rightarrow 0$ $0$

δ (P, Q) \equiv min [\int P \log (\frac{P}{Q}), \int Q \log (\frac{Q}{P})]

$\delta(P,Q)\equiv \min \Big[\int P \,\log \big(\frac{P}{Q}\big),\int Q \log \big(\frac{Q}{P}\big)\Big]$

$P\rightarrow 0$ $0$ $\lim_{z\rightarrow 0} z \log(z) =0$ $P$ $Q$ $Q$

— probabilityislogic
kaynak

1

P

$P$

Q

$Q$

P

$P$

Q

$Q$

1

Evet ... İçsel tutarsızlığın şartı yerine getirmediğinden korkuyorum. Ama öneri için teşekkür ederim. Diğer önerileriniz memnuniyetle karşılanacaktır.

— ocram

1

Eğer mavi yoğunluğun desteğini kesinlikle olumlu bir desteğe sahip olacak şekilde kısıtlarsanız, tıpkı kırmızı olan için olduğu gibi (> 0) kısıtlı olmanız şartını yerine getirir

— olasılık

3

P

$P$

Q

$Q$

P ≪ Q

$P\ll Q$

A

$A$

Q (A) = 0

$Q(A)=0$

P (A) = 0

$P(A)=0$

δ (P, Q)

$\delta(P,Q)$

P ≪ Q

$P\ll Q$

Q ≪ P

$Q\ll P$

2

P + Q

$P+Q$

P ≪ P + Q

$P\ll P+Q$

Q ≪ P + Q

$Q\ll P+Q$

η (P, Q) := κ (P | P + Q) + κ (Q | P + Q)

$\eta(P,Q):=\kappa(P|P+Q)+\kappa(Q|P+Q)$

η (P, Q) = 0

$\eta(P,Q)=0$

P = Q

$P=Q$

η

$\eta$

η (P, Q)

$\eta(P,Q)$

P

$P$

Q

$Q$