Bhattacharyya mesafesi ile KL diverjansı arasındaki farklar

33

Aşağıdaki sorular için sezgisel bir açıklama arıyorum:

İstatistik ve bilgi teorisinde, iki ayrı olasılık dağılımı arasındaki farkın ölçütleri olarak Bhattacharyya uzaklık ile KL ayrışması arasındaki fark nedir?

Kesinlikle hiçbir ilişkileri yok mu ve iki olasılık dağılımı arasındaki mesafeyi tamamen farklı bir şekilde ölçtüler mi?

— JewelSue
kaynak

36

Bhattacharyya katsayısı olarak tanımlanmıştır ve bir mesafe dönüştürülebilir olarak , buna Hellinger mesafesi denir . Bu arasındaki bağlantı Hellinger mesafe ve Kullback-Leibler sapma olup

D_{B} (p, q) = \int \sqrt{p (x) q (x)} d x

$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$

d_{H} (p, q)

$d_H(p,q)$

d_{'H} (p, q) = {1 - D_{B} (p, q)}^{1 / 2}

$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$

d_{K L} (p ‖ q) \geq 2 d_{'H}^{2} (p, q) = 2 {1 - D_{B} (p, q)} .

$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$

Bununla birlikte, bu soru değildir: eğer Bhattacharyya mesafe olarak tanımlanır

d_{B} (p, q) \overset{def}{=} - günlük D_{B} (p, q),

$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$ daha sonra

\begin{aligned} d_{B} (p, q) = - günlük D_{B} (p, q) & = - günlük \int \sqrt{p (x) q (x)} d x \\ \overset{def}{=} - günlük \int h (x) d x \\ = - günlük \int \frac{h (x)}{p (x)} p (x) d x \\ \leq \int - günlük {\frac{h (x)}{p (x)}} p (x) d x \\ = \int \frac{- 1}{2} günlük {\frac{h^{2} (x)}{p^{2} (x)}} p (x) d x \\ = \int \frac{- 1}{2} günlük {\frac{q (x)}{p (x)}} p (x) d x = \frac{1}{2} d_{K L} (p ‖ q) \end{aligned}

$\begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*}$ Dolayısıyla, arasındaki eşitsizlik iki mesafe

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) .

${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$ Kişi daha sonra bu eşitsizliğin ilkinden gelip gelmeyeceğini merak edebilir. Bunun tersi olur: since

- l O g (x) \geq 1 - x 0 \leq x \leq 1,

$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$ görüntü tanımını buraya girin

tam siparişine

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) \geq 2 d_{'H} (p, q)^{2} .

${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$

— Xi'an
kaynak

2

Parlak! Bu açıklama hevesle aradığım konu olmalı. Son bir soru: Hangi durumda (veya hangi türde P ve Q) eşitsizlik eşitlik olur?

— JewelSue,

1

Verilen işlevi kesin dışbükeydir, I oranı, zaman eşitlik için tek durumdur varsayılabilir sabittir .

- \log (\cdot)

$-\log(\cdot)$

p (x) / q (x)

$p(x)/q(x)$

x

$x$

— Xi'an,

5

Ve tek durum de sabit zaman olduğu .

p (x) / q (x)

$p(x)/q(x)$

x

$x$

p = q

$p=q$

— Xi'an,

8

İkisi arasında açık bir ilişki olduğunu bilmiyorum, ama ne bulabileceğimi görmek için onlarla hızlıca dürtmeye karar verdim. Yani bu bir cevap değil, daha çok ilgi çeken bir konu.

Basit olması için ayrık dağılımlar üzerinde çalışalım. BC mesafesini şu şekilde yazabiliriz:

d_{M.Ö} (p, q) = - \ln \underset{x}{Σ} (p (x) q (x))^{\frac{1}{2}}

$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$

ve KL olarak

d_{KL} (p, q) = \underset{x}{Σ} p (x) \ln \frac{p (x)}{q (x)}

$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$

Şimdi günlüğü mesafesindeki toplamın içine itemeyiz , bu nedenle günlüğü diverjansının dışına çekmeyi deneyelim : $\text{BC}$ $\text{KL}$

d_{KL} (p, q) = - \ln \underset{x}{Π} {(\frac{q (x)}{p (x)})}^{p (x)}

$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$

, olasılıklar üzerindeki tekdüze dağılım olarak belirlendiğinde davranışlarını göz önüne alalım : $p$ $n$

d_{KL} (p, q) = - \ln n - \ln {(\underset{x}{Π} q (x))}^{\frac{1}{n}} d_{M.Ö} (p, q) = - \ln \frac{1}{\sqrt{n}} - \ln \underset{x}{Σ} \sqrt{q (x)}

$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$

Solda, geometrik ortama benzeyen bir şeyin günlüğüne sahibiz . Sağda, aritmetik ortalamanın loguna benzer bir şeyimiz var . Dediğim gibi, bu çok fazla bir cevap değil, ancak BC mesafesi ile KL sapmasının ve arasındaki sapmalara nasıl tepki verdiğine dair net bir sezgiye sahip olduğunu düşünüyorum . $p$ $q$

— Andy Jones
kaynak