İki numune için Kullback-Leibler Iraksaklığı

İki örnek için Kullback-Leibler Diverjansının sayısal bir tahminini uygulamaya çalıştım. Uygulamada hata ayıklamak için örnekleri iki normal dağılımdan ve çizin . $\mathcal N (0,1)$ $\mathcal N (1,2)$

Basit bir tahmin için iki histogram oluşturdum ve integrali sayısal olarak tahmin etmeye çalıştım. Histogramın histogramlarından birinin kutularının sıfır olduğu kısımları işlemekle sıkışıp kaldım, böylece sıfıra bölme veya sıfır logaritması ile sonuçlanacağım. Bu sorunu nasıl çözebilirim?

Aklıma bir soru geldi: İki farklı düzgün dağılım arasındaki KL-Diverjans tam olarak nasıl hesaplanır? İntegrali her iki dağıtımın destek birliği ile sınırlamak zorunda mıyım?

— jimbob
kaynak

Normal dağılımın desteği gerçek sayılar kümesidir. Saf matematikte bir sorun yoktur, ancak evet, sayısal yaklaşımınız için, örneklem büyüklüğünüzün entegre etmek istediğiniz bölgeye göre yeterince büyük olduğundan emin olmanız gerekir. Saf matematikte olduğu gibi (-inf, + inf) ile bütünleşemezsiniz ... Makul bir şey mi arıyorsunuz? Ortalamadan 3 standart sapmadan daha fazla iseniz, oldukça ince olacak ...

— Matthew Gunn

İkinci sorunuzla ilgili olarak, iki farklı tekdüze dağılım arasındaki KL sapması tanımsızdır (

tanımlanmamıştır). Benzer şekilde, her bir numunenin diğer numunedeki her gözlemle aynı değere sahip en az bir gözlemi olmadıkça, iki deneysel dağılım için KL sapması tanımlanmamıştır.

\log (0)

$\log(0)$

— jbowman

@jbowman Küçük not. Eğer bu doğru olsa da

tanımsız (veya

), bu tedavi için bilgi teoride gelenektir

olarak

\log (0)

$\log(0)$

- \infty

$-\infty$

\log (0) \cdot 0

$\log(0) \cdot 0$

0

$0$

— Luca Citi

Benzer bir soru: mathoverflow.net/questions/119752/…

— kjetil b halvorsen

Yanıtlar:

Kullback-Leibler sapması bu nedenle, yoğunluk fonksiyonlarının bazı tahminlerine ihtiyacımız olacak ampirik verilerden hesaplamak (tahmin etmek . Böylece doğal bir başlangıç noktası yoğunluk tahmini ile olabilir (ve bundan sonra sadece sayısal entegrasyon). Böyle bir yöntemin ne kadar iyi veya kararlı olacağını bilmiyorum.

KL (P | | S) = \int_{- \infty}^{\infty} p (x) günlük \frac{p (x)}{q (x)} d x

$\DeclareMathOperator{\KL}{KL} \KL(P || Q) = \int_{-\infty}^\infty p(x) \log \frac{p(x)}{q(x)} \; dx$

p (x), q (x)

$p(x), q(x)$

Ama önce ikinci sorunuz, sonra birinci soruya döneceğim. Diyelim ki ve sırasıyla ve üzerinde eşit yoğunluklardır . Daha sonra iken tanımlamak daha zordur, ancak bunu vermenin tek makul değeri görebildiğim kadarıyla , entegre etmeyi içerdiğinden $p$ $q$ $[0,1]$ $[0,10]$ $\KL(p || q)=\log 10$ $\KL(q || p)$ $\infty$ olarak yorumlamayı seçebiliriz. Bu sonuçlar, Kullback-Leibler (KL) Diverjansına ilişkin Sezgideverdiğim yorumdan makul. $\log(1/0)$ $\log \infty$

Ana soruya dönüyoruz. Çok parametrik olmayan bir şekilde sorulur ve yoğunluklar hakkında herhangi bir varsayım belirtilmez. Muhtemelen bazı varsayımlara ihtiyaç vardır. Ancak, iki yoğunluğun aynı fenomen için rakip modeller olarak önerildiğini varsayarsak, muhtemelen aynı baskın ölçüye sahip olduklarını varsayabiliriz: örneğin, sürekli ve ayrık bir olasılık dağılımı arasındaki KL sapması daima sonsuz olacaktır. Bu soruyu ele alan bir makale şu şekildedir: https://pdfs.semanticscholar.org/1fbd/31b690e078ce938f73f14462fceadc2748bf.pdf Ön yoğunluk kestirimi gerektirmeyen bir yöntem önerir ve özelliklerini analiz eder.

(Başka birçok makale var). Geri dönüp o makaleden bazı detayları, fikirleri göndereceğim.

 EDIT

Kesinlikle sürekli dağılımlardan gelen iid örnekleri ile KL diverjansının tahmini ile ilgili bu makaleden bazı fikirler. Tek boyutlu dağılımlar için önerilerini gösteriyorum, ancak vektörler için de bir çözüm veriyorlar (en yakın komşu yoğunluk tahminini kullanarak). Prova için kağıdı okuyun!

Ampirik dağılım fonksiyonunun bir versiyonunu kullanmayı teklif ederler, ancak sürekli bir versiyon elde etmek için numune noktaları arasında doğrusal olarak enterpole edilirler. tanımlıyorlar buradaHeavyside basamak fonksiyonudur, ancak. Daha sonra fonksiyonu doğrusal interpolasyon (ve aralığının dışında yatay olarak uzatılmış) olan(sürekli için). Daha sonra Kullback-Leibler sapma tahmin etmek için teklif

P_{e} (x) = \frac{1}{n} Σ_{ben = 1}^{n} U (x - x_{ben})

$P_e(x) = \frac1{n}\sum_{i=1}^n U(x-x_i)$

U

$U$

U (0) = 0.5

$U(0)=0.5$

P_{c}

$P_c$

c

$c$

burada

, numunelerin en küçük aralıklarından daha küçük bir sayıdır.

\hat{D} (P ‖ S) = \frac{1}{n} Σ_{ben = 1}^{n} günlük (\frac{δ P_{c} (x_{ben})}{δ S_{c} (x_{ben})})

$\hat{D}(P \| Q) = \frac1{n}\sum_{i=1}^n \log\left(\frac{\delta P_c(x_i)}{\delta Q_c(x_i)}\right)$

δ P_{c} = P_{c} (x_{i}) - P_{c} (x_{i} - ϵ)

$\delta P_c = P_c(x_i)-P_c(x_i-\epsilon)$

ϵ

$\epsilon$

İhtiyacımız olan ampirik dağıtım fonksiyonunun sürümü için R kodu

my.ecdf  <-  function(x)   {
    x   <-   sort(x)
    x.u <-   unique(x)
    n  <-  length(x) 
    x.rle  <-  rle(x)$lengths
    y  <-  (cumsum(x.rle)-0.5) / n
    FUN  <-  approxfun(x.u, y, method="linear", yleft=0, yright=1,
                           rule=2)
    FUN
}

rlekopyaları ile dava ilgilenmek için kullanılan not x.

Sonra KL diverjansının tahmini şu şekilde verilir:

KL_est  <-  function(x, y)   {
    dx  <-  diff(sort(unique(x)))
    dy  <-  diff(sort(unique(y)))
    ex  <-  min(dx) ; ey  <-  min(dy)
    e   <-  min(ex, ey)/2
    n   <-  length(x)    
    P  <-   my.ecdf(x) ; Q  <-  my.ecdf(y)
    KL  <-  sum( log( (P(x)-P(x-e))/(Q(x)-Q(x-e)))) / n
    KL              
}

Sonra küçük bir simülasyon gösteririm:

KL  <-  replicate(1000, {x  <-  rnorm(100)
                         y <- rt(100, df=5)
                         KL_est(x, y)})
hist(KL, prob=TRUE)

bu tahmin edicinin, bu tahmin edicinin örnekleme dağılımını gösteren (bir tahmin):

Karşılaştırma için, bu örnekte KL diverjansını sayısal entegrasyon ile hesaplıyoruz:

LR  <-  function(x) dnorm(x,log=TRUE)-dt(x,5,log=TRUE)
100*integrate(function(x) dnorm(x)*LR(x),lower=-Inf,upper=Inf)$value
[1] 3.337668

hmm ... aradaki fark, araştırılacak çok şey var!

— kjetil b halvorsen
kaynak

Kjetil-b-halvorsen'in cevabına biraz genişleyen ve yorum yapmadığım için üzgünüm, itibarım yok:

Ben analitik hesaplama (100 ile çarpma olmadan) olması gerektiğini hissediyorum:

LR <- function(x) dnorm(x,log=TRUE)-dt(x,5,log=TRUE) integrate(function(x) dnorm(x)*LR(x),lower=-Inf,upper=Inf)$value

$\hat D(P||Q)$ $\hat D(P||Q)-1 \to D(P||Q)$

Bu iki düzeltme yapıldıktan sonra sonuçlar daha gerçekçi görünür.

— ColibriIO
kaynak

Teşekkürler, buna bakacağım ve cevabımı güncelleyeceğim.

— kjetil b halvorsen