Bilgi teorik merkezi limit teoremi

11

Bilgi teorik CLT'nin en basit şekli şudur:

Let ortalama ile istatistiksel bağımsız olması ve varyansı . Let normalleştirilmiş toplam yoğunluğu olması ve standart Gauss yoğunluğu. Daha sonra bilgi teorisi CLT, bazı için sonlu olduğunu , sonra olarak . $X_1, X_2,\dots$ $0$ $1$ $f_n$ $\frac{\sum_{i=1}^n X_i}{\sqrt{n}}$ $\phi$ $D(f_n\|\phi)=\int f_n \log(f_n/\phi) dx$ $n$ $D(f_n\|\phi)\to 0$ $n\to \infty$

Kesinlikle bu yakınsama, bir anlamda, Pinsker'in eşitsizliği sayesinde literatürde iyi kurulmuş yakınsamalardan, dağılımda yakınsama ve yakınsamadan "daha güçlü " . Yani, KL-diverjansındaki yakınsama dağılımda yakınsaklık ve mesafesindeki yakınsama anlamına gelir . $L_1$ $\left(\int |f_n-\phi|\right)^2\le 2\cdot \int f_n \log(f_n/\phi)$ $L_1$

İki şey bilmek istiyorum.

sonucunun 0 kadar harika yanı nedir $D(f_n\|\phi)\to 0$ ?
Sadece üçüncü paragrafta belirtilen sebepten dolayı KL-diverjansındaki yakınsama ( yani , $D(f_n\|\phi)\to 0$ ) ?

Not: Bu soruyu bir süre önce math.stackexchange'te cevap alamadığım bir soru sordum.

mathematical-statistics information-theory central-limit-theorem

— Ashok
kaynak

Lütfen yinelenen math.SE sorusuna bir bağlantı sağlayın.

— kardinal

6

İfadenizin dolaylı olarak bir yoğunluğun varlığını varsaydığı görülmektedir (Lebesgue ölçüsüne göre). Bu kısa ve keyifli makaleyle ilgilenebilirsiniz : AR Barron (1986), Entropi ve Merkezi Limit Teoremi Ann. Probab. , cilt 14, no. 1, 336-342'de açıklanmaktadır. ( açık erişim ).

— kardinal

2

O makaleye çoktan bakmıştım. Sayfa 1'in ikinci paragrafında bilgi teorik perspektifinde bir motivasyon verdi. O sırada benim için o kadar açık değildi. Şimdi iyi görünüyor. Yine de, aşağıdakileri net bir şekilde açıklayabilir ve bir cevap olarak gönderebilirse, harika olurdu. "Bilgi teorisinden, göreceli entropi , numunelerin normal dağılıma dayalı olarak Shannon kodunun artıklığına (aşırı ortalama açıklama uzunluğu) en az üst sınırdır ." Bu soruyu matematikte sildim.SE orada kimseyi çekmediği için

D_{n}

$D_n$

f_{n}

$f_n$

— Ashok

@cardinal: güzel kağıt için tks.

— Zen

5

Bu teoremle harika olan bir şey, olağan merkezi limit teoreminin uygulanmadığı bazı ortamlarda limit teoremleri önermesidir. Örneğin, maksimum entropi dağılımının, daire üzerindeki dağılımlar gibi normal olmayan bir dağılım olduğu durumlarda, muntazam bir dağılıma yakınsamayı önerir.

— kjetil b halvorsen
kaynak

Anlamıyorum. Daha önce de belirttiğim gibi KL diverjansındaki yakınsama dağılımda yakınsama anlamına gelir, anlıyor musunuz? Bilgi teorik CLT'nin uygulandığı her yerde, normal CLT de geçerlidir. Ayrıca, bilgi teorik CLT de sonlu varyans varsaymaktadır. Yoksa bir şey mi kaçırıyorum?

— Ashok

2

Demek istediğim, entropi yönteminin, sınırın normal dağılım olmadığı durumlarda sınırın ne olabileceğini önermesidir. Bu durumda sınır entropiyi maksimize eden bir dağılımdır.

— kjetil b halvorsen

3

Etrafa baktıktan sonra, göreceli entropide yakınsama olmadan dağılımda yakınsama örneği bulamadım, bu nedenle bu sonucun "büyüklüğünü" ölçmek zor.

Bana göre, bu sonuç basitçe evrişim ürünlerinin bağıl entropisini tarif ediyor. Genellikle Merkezi Limit Teoreminin alternatif bir yorumu ve ispat çerçevesi olarak görülür ve olasılık teorisinde (bilgi teorisinde de olsa) doğrudan bir etkisi olduğundan emin değilim.

Gönderen Bilgi Teorisi ve Merkezi Limit Teoremi (sayfa 19).

Termodinamiğin İkinci Yasası, termodinamik entropinin her zaman zamanla arttığını ve Gibbs durumuna bir tür yakınsama anlamına geldiğini belirtir. Enerjinin korunumu, bu zaman evrimi boyunca sabit kalması anlamına gelir , bu yüzden başlangıçtan itibaren Gibbs devletinin sınır olacağını söyleyebiliriz. Merkezi Limit Teoremini, Gaussian'a yakınsama anlamına gelen kıvrımlar alırken, bilgi teorik entropinin maksimum seviyeye yükseldiğini göstererek aynı şekilde ele alacağız. Uygun şekilde normalleştirme, kıvrımlar sırasında varyansın sabit kalması anlamına gelir, böylece başlangıçtan hangi Gaussian'ın sınır olacağını söyleyebiliriz. $E$

— gui11aume
kaynak

2

Göreceli entropide yakınsama olmadan dağılımda çok sayıda yakınsama örneği vardır - ayrık bir dağılımı olduğunda ve CLT uygulandığında.

X_{i}

$X_i$

— Mark Meckes

1

$D(f_n\|\phi)\rightarrow 0$ , rastgele değişkenlerin toplamının dağılımı ile gauss yoğunluğu arasında sadece KL sapmasının tanımı nedeniyle olarak "mesafe" olmadığından emin olur , bu yüzden kanıt kendisi. Belki de sorunuzu yanlış anladım. $n\rightarrow\infty$

Atadığınız ikinci nokta hakkında, paragrafınızda yanıtlanmıştır.

— Başka kullanıcı
kaynak

1

Normal (Lindberg) CLT, örnek ortalamanın dağılım olarak normal bir RV'ye yakınsadığını belirtir. Bu CDF'nin noktasına noktasal olarak yakınsadığı anlamına gelir . Bu ve OP'nin sonucu arasında cevabınıza yansıtılmayan ince bir ölçü teorik farkı var.

Φ

$\Phi$

— AdamO