Kullback-Leibler ıraksama / mesafe nasıl hesaplanır?

X, Y ve Z olmak üzere üç veri setim var. Her veri kümesi meydana gelen bir olayın frekansını tanımlar. Örneğin:

Veri Kümesi X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 vb.
Veri Kümesi Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: 0 vb.
Veri Kümesi Z: E1: 0, E2: 4, E3: 8, E4: 4, E5: 1, E6: 0 vb.

X ve Y arasında KL ayrımı bulmalıyım; Bazı olaylarda görebileceğiniz gibi 0 ve sıfır olmayan değerler olacaktır. Bazı olaylar için her üç veri seti de 0'dır.

Birisi bunun KL ıraksamalarını bulmama yardımcı olabilirse sevinirim. Pek bir istatistikçi değilim, bu yüzden fazla bir fikrim yok. Çevrimiçi baktığım dersler benim anlayışım için biraz fazla karmaşıktı.

Sorunuzu cevaplamak için KL diverjansının tanımını hatırlamalıyız :

$$D_{KL}(Y||X) = \sum_{i=1}^N \ln \left( \frac{Y_i}{X_i} \right) Y_i$$

Her şeyden önce, olasılık dağılımlarından olasılık dağılımlarına geçmek zorundasınız. Bunun için verilerinizi bire kadar toplayacak şekilde normalleştirmelisiniz:

$X_i := \frac{X_i}{\sum_{i=1}^N X_i}$$Y_i := \frac{Y_i}{\sum_{i=1}^N Y_i}$$Z_i := \frac{Z_i}{\sum_{i=1}^N Z_i}$

Daha sonra, kesikli değerler için KL ayrışmasını değerlendirmek için gereken ve genellikle ihlal edilen çok önemli bir varsayım var:

$X_i = 0$$Y_i = 0$

$X_i$$Y_i$$\ln \left( Y_i / X_i \right) Y_i$

$D_{KL}(X||Y)$$D_{KL}(Y||X)$

Pratik açıdan ne önerebilirim:

ya daha az sıfır olacak şekilde etkinliklerinizi "daha büyük" yapın

veya en az bir giriş içeren nadir olayları bile kapsayacak şekilde daha fazla veri kazanabilirsiniz.

Yukarıdaki önerilerin hiçbirini kullanamazsanız, muhtemelen dağıtımlar arasında başka bir metrik bulmanız gerekecektir. Örneğin,

$I(X, Y) = \sum_{i=1}^N \sum_{j=1}^N p(X_i, Y_j) \ln \left( \frac{p(X_i, Y_j)}{p(X_i) p(Y_j)} \right)$$p(X_i, Y_i)$

Umarım yardımcı olur.

\ Epsilon'u çok küçük bir 0.00001 (diyelim) değerine ayarlamak ve tüm Olasılıklar için sıfır olmayan değerlerle devam etmek ve KL puanlarını hesaplamak isteyebilirsiniz.

Bunun işe yarayıp yaramadığını lütfen bize bildirin.