Kesikli ve sürekli dağılım arasında KL ıraksama uygulamak mümkün müdür?

12

Ben bir matematikçi değilim. KL Divergence hakkında internette arama yaptım. Öğrendiğim şey, bir modelin girdi dağılımına göre dağılımını yaklaşık olarak gösterdiğimizde KL ıraksaması, kaybedilen bilgileri ölçer. Bunları herhangi iki sürekli veya ayrık dağılım arasında gördüm. Bunu sürekli ve ayrık arasında yapabilir miyiz?

distributions mathematical-statistics kullback-leibler

— prakash
kaynak

İlgili: stats.stackexchange.com/q/6907/2970

— kardinal

4

Hayır: KL sapması sadece ortak bir alan üzerindeki dağılımlarda tanımlanır. Bir noktanın olasılık yoğunluğunu sorar $x$ iki farklı dağıtım altında, $p(x)$ ve $q(x)$ . Eğer $p$ bir dağıtımdır $\mathbb{R}^3$ ve $q$ bir dağıtım $\mathbb{Z}$ , sonra $q(x)$ puan için mantıklı değil $p \in \mathbb{R}^3$ ve $p(z)$ puan için mantıklı değil $z \in \mathbb{Z}$ . Aslında, bunu farklı boyutlu uzaylar (veya ayrık veya temel olasılık uzaylarının uyuşmadığı herhangi bir durumda) üzerinde iki sürekli dağılım için bile yapamayız.

Aklınızda belirli bir durum varsa, dağıtımlar arasında benzer ruhlu bir benzerlik ölçüsü bulmak mümkün olabilir. Örneğin, ayrı bir kod için (açık bir şekilde kayıp bilgi ile) bir kod altında sürekli bir dağılımı kodlamak mantıklı olabilir, örn. Ayrık durumdaki en yakın noktaya yuvarlama.

— Dougal
kaynak

Kesikli ve kesinlikle sürekli dağılımlar arasındaki KL sapmasının iyi tanımlandığını unutmayın.

— Olivier

@Olivier Her zamanki tanım ortak hakim bir önlem gerektirir, değil mi?

— Dougal

1

P ve Q farklı alanlarda tanımlandığında haklısınız. Ancak ortak bir ölçülebilir alanda, her zaman böyle bir önlem vardır (örneğin P + Q alın) ve KL ayrılığı, özel baskın önlem seçimine bağlı değildir.

— Olivier

8

Evet, sürekli ve ayrık rasgele değişkenler arasındaki KL sapması iyi tanımlanmıştır. Eğer $P$ ve $Q$ bir uzayda dağılımlar $\mathbb{X}$ , sonra ikisi de $P$ ve $Q$ yoğunluklara sahip olmak $f$ , $g$ göre $\mu = P+Q$ ve

D_{K L} (P, Q) = \int_{X} f \log \frac{f}{g} d μ .

$D_{KL}(P,Q) = \int_{\mathbb{X}} f \log\frac{f}{g}d\mu.$

Örneğin, $\mathbb{X} = [0,1]$ , $P$ Lebesgue'in ölçüsü ve $Q = \delta_0$ bir nokta kütlesi $0$ , sonra $f(x) = 1-\mathbb{1}_{x=0}$ , $g(x) = \mathbb{1}_{x=0}$ ve

D_{K L} (P, Q) = \infty .

$D_{KL}(P, Q) = \infty.$

— Olivier
kaynak

Bunu nasıl kanıtlarsın

\int_{X} f \log \frac{f}{g} d μ

$\int_{\mathbb{X}} f \log\frac{f}{g}d\mu$ hakim önlemden bağımsız mıdır?

— Gabriel Romon

Ölçü teoreminin değişimi.

— Olivier

1

Genel olarak değil. KL ayrılığı

D_{K L} (P | | Q) = \int_{X} \log (\frac{d P}{d Q}) d P

$D_{KL}(P \ || \ Q) = \int_{\mathcal{X}} \log \left(\frac{dP}{dQ}\right)dP$

şartıyla $P$ açısından kesinlikle süreklidir $Q$ ve ikisi $P$ ve $Q$ Hangi $\sigma$ -sonlu (örn. $\frac{dP}{dQ}$ iyi tanımlanmış).

Bazı olağan uzaydaki ölçümler arasındaki 'sürekli-ayrık' KL sapması için, Lebesgue ölçümünün sayım ölçüsü ile ilgili olarak kesinlikle sürekli olduğu, ancak sayım ölçüsünün olmadığı durumunuz vardır. $\sigma$ -finite.

— jtobin
kaynak