Kullback – Leibler vs Kolmogorov-Smirnov mesafe

37

Kullback-Leibler ile Kolmogorov-Smirnov arasındaki mesafe ölçütleri arasında çok sayıda resmi fark olduğunu görebiliyorum. Ancak, her ikisi de dağılımlar arasındaki mesafeyi ölçmek için kullanılır.

Birinin diğeri yerine kullanılması gereken tipik bir durum var mı?
Bunu yapmak için gerekçe nedir?

— Greg
kaynak

İlgili bir soru: stats.stackexchange.com/questions/4/…

— GaBorgulya

23

KL-diverjansı tipik olarak bilgi teorik ayarlarında, hatta Bayesian ayarlarında, örneğin bazı çıkarımların uygulanmasından önceki ve sonraki dağılımlar arasındaki bilgi değişikliğini ölçmek için kullanılır. Simetri eksikliği ve üçgen eşitsizliği nedeniyle tipik (metrik) anlamda bir mesafe değildir ve bu nedenle yönlülüğün anlamlı olduğu yerlerde kullanılır.

KS mesafesi tipik olarak parametrik olmayan bir test bağlamında kullanılır. Aslında, nadiren, genel olarak "dağılımlar arasındaki mesafe" olarak kullanıldığını gördüm, burada mesafesi, Jensen-Shannon mesafesi ve diğer mesafeler daha yaygındır. $\ell_1$

— Suresh Venkatasubramanian
kaynak

5

Bahsetmeye değer KL-diverjansın bir başka kullanımı hipotez testlerindedir. Varsayın ki, veya yoğunluğuna sahip ölçümlerden elde edilmiştir . Bırakın . Neyman - Pearson tarafından büyük olduğunda en uygun test reddedilir . Şimdi altında , olasılık altında , . Yana negatif olmayan olduğunu ima kuralı kullanılarak olmasıdır reddetme asimptotik mükemmeldir.

X_{1}, X_{2}, \dots

$X_1, X_2, \ldots$

p_{0}

$p_0$

p_{1}

$p_1$

T_{n} = n^{- 1} \sum_{i = 1}^{n} \log (p_{1} (X_{i}) / p_{0} (X_{i}))

$T_n = n^{-1} \sum_{i=1}^n \log( p_1(X_i) / p_0(X_i) )$

T_{n}

$T_n$

p_{0}

$p_0$

T_{n} \to - D (p_{0} | | p_{1})

$T_n \to -D(p_0 \,\vert\vert\, p_1)$

p_{1}

$p_1$

T_{n} \to D (p_{1} | | p_{0})

$T_n \to D(p_1 \,\vert\vert\, p_0)$

D (\cdot | | \cdot)

$D(\cdot \,\vert\vert\, \cdot)$

T_{n} > 0

$T_n > 0$

p_{0}

$p_0$

— kardinal

Aslında. bu mükemmel bir örnek. Ve aslında Chernoff-Hoeffding kuyruk sınırlarının en genel versiyonları KL sapmasını kullanır.

— Suresh Venkatasubramanian

2

Önceki cevapla aynı şeyi daha fazla meslekten olmayan terimlerle ifade etmenin başka bir yolu:

KL Diverjans - Aslında bir farkın ne kadar büyüklüğünün birbirinden iki dağılım olduğunun bir ölçüsünü sunar. Önceki cevabın da belirttiği gibi, bu ölçü simetrik olmadığı için uygun bir mesafe ölçüsü değildir. Yani, A ve B dağılımı arasındaki mesafe, B ve A dağılımı arasındaki mesafeden farklı bir değerdir.

Kolmogorov-Smirnov Testi - Bu, bir test dağılımının referans dağılımına göre kümülatif dağılımı arasındaki en büyük ayrımı gösteren bir değerlendirme ölçütüdür. Ek olarak, bu ölçümü, test dağılımının referans ile aynı dağılım olup olmadığına ilişkin bir hipotez testi yapmak için Kolmogorov dağılımına karşı bir z-skoru gibi kullanabilirsiniz. Bu metrik, simetrik olduğu için bir mesafe işlevi olarak kullanılabilir. Başka bir deyişle, A'nın CDF'si ile B'nin CDF'si arasındaki en büyük ayrım, A'nın CDF'si ile A'nın CDF'si arasındaki en büyük ayırım ile aynıdır.

— Srik
kaynak