KL divergence hakkındaki sorularınız için;

Bu ölçüt hakkında okuduğum şeye göre, bir hipotezi diğerine dönüştürmek için gereken bilgi miktarı olan standart olmayan bir sayı döndüren KL dağılımını iki dağılımı karşılaştırıyorum. İki sorum var:

a) KL sapmasını, örneğin etki büyüklüğü veya R ^ 2 gibi daha anlamlı bir yoruma sahip olacak şekilde ölçmenin bir yolu var mı? Herhangi bir standardizasyon şekli var mı?

b) R'de KLdiv (flexmix paketi) kullanıldığında, sayısal kararlılık sağlamak için esp'den daha küçük olan tüm noktaları bir standarda ayarlayan 'esp' değeri (standart esp = 1e-4) ayarlanabilir. Farklı esp değerleri ile oynuyorum ve veri setim için, daha büyük bir KL sapması daha küçük bir sayı alıyorum. Ne oluyor? Esp ne kadar küçük olursa, sonuçların o kadar güvenilir olmasını beklerim çünkü daha 'gerçek değerlerin' istatistiğin bir parçası olmasına izin verirler. Hayır? Ben aksi takdirde istatistik hesaplamak değil ama sadece sonuç tablosunda NA olarak görünür çünkü esp değiştirmek zorunda ...

P veya q ile oluşturulan n IID örneği verildiğini varsayalım. Hangi dağıtımın bunları oluşturduğunu belirlemek istiyorsunuz. Q tarafından üretildiklerine dair boş hipotez olarak kabul edin. Hatalı olarak sıfır hipotezini reddederek Tip I hata olasılığını belirtin ve b Tip II hata olasılığını gösterir.

Daha sonra büyük n için, Tip I hata olasılığı en azından

$\exp(-n \text{KL}(p,q))$

Başka bir deyişle, "optimal" bir karar prosedürü için, Tip I olasılığı en fazla her veri noktası ile bir eksp faktörüne (KL (p, q)) düşer. Tip II hatası en fazla faktörüne bağlıdır .$\exp(\text{KL}(q,p))$

Keyfi n için a ve b aşağıdaki gibi ilişkilidir

$b \log \frac{b}{1-a}+(1-b)\log \frac{1-b}{a} \le n \text{KL}(p,q)$

ve

$a \log \frac{a}{1-b}+(1-a)\log \frac{1-a}{b} \le n \text{KL}(q,p)$

Yukarıdaki bağı b ve KL cinsinden alt sınır olarak ifade edersek ve b'yi 0'a düşürürsek, sonuç küçük n için bile "exp (-n KL (q, p))" ye yaklaşır gibi görünüyor

Daha 10. sayfada ayrıntıları burada ve sayfalar Kullback yönettiği "Bilgi Teorisi ve İstatistik" 74-77 (1978).

Bir yan not olarak, bu yorum Fisher Information metriğini motive etmek için kullanılabilir , çünkü herhangi bir çift dağılım için p, q Fisher'ın k mesafesinden (küçük k), bunları ayırmak için aynı sayıda gözlem gerekir

Balıkçı metrik tensörü içinde bir dizi dişi manifold olarak görselleştirdiğinizde KL'nin derin bir anlamı vardır , iki "yakın" dağılım arasındaki jeodezik mesafeyi verir. resmen:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

Aşağıdaki satırlar, bu matematiksel formüllerle ne kastedildiğini ayrıntılarıyla açıklamak için burada.

Fisher metriğinin tanımı.

$D=(f(x, \theta ))$$R^n$$x$$R^p$$F=(F_{ij})$

$F_{ij}=E[d(\log f(x,\theta))/d \theta_i d(\log f(x,\theta))/d \theta_j]$

$D$$F(\theta)$

Şunu söyleyebilirsiniz ... Tamam matematiksel soyutlama ama KL nerede?

$p=1$$F_{11}$

$ds^2$$p(x,\theta)$$p(x,\theta+d \theta)$

$ds^2= \sum F_{ij} d \theta^i d \theta^j$

ve Kullback Leibler Diverjansının iki katı olduğu bilinmektedir:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

Bununla ilgili daha fazla bilgi edinmek isterseniz makaleyi Amari'den okumanızı öneririm http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176345779 (Bence Amari hakkında bir kitap var istatistikte riemann geometrisi ama adını hatırlamıyorum)

P (.) Ve q (.) Dağılımları arasındaki KL (p, q) ayrışmasının yararlı bulabileceğiniz sezgisel bir bilgi teorik yorumu vardır.

Bazı olasılık dağılımı p (.) Tarafından üretilen verileri x gözlemlediğimizi varsayalım. P (.) Tarafından üretilen verileri belirtmek için gereken bit cinsinden ortalama kod uzunluğuna bir alt sınır, p (.) Entropisi tarafından verilir.

Şimdi, p (.) Bilmediğimizden, verileri kodlamak (veya tanımlamak, belirtmek) için başka bir dağıtım, diyelim ki q (.) Seçiyoruz. P (.) Tarafından oluşturulan ve q (.) Kullanılarak kodlanan verilerin ortalama kod uzunluğu, kodlama için gerçek p (.) Dağılımının kullanılmasından daha uzun olacaktır. KL sapması bize bu alternatif kodun verimsizliğini anlatıyor. Başka bir deyişle, p (.) Ve q (.) Arasındaki KL sapması, kod dağıtımı q (.) Kullanılarak p (.) Tarafından üretilen verileri kodlamak için gereken ortalama ekstra bit sayısıdır . KL sapması negatif değildir ve gerçek veri üretme dağılımı verileri kodlamak için kullanılırsa sıfıra eşittir.

Sorunuzun (b) kısmı için, dağıtımlarınızdan birinin diğerinin bulunmadığı bir bölgede yoğunluğu sorunu yaşıyor olabilirsiniz.

$i$$p_i>0$$q_i=0$$q_i=0$$q_i$