Günlük (p (x, y)) noktası karşılıklı bilgileri nasıl normalleştirir?

9

Normalleştirilmiş karşılıklı bilgi formunu anlamaya çalışıyorum.

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

Günlük eklemi olasılığı, noktasal karşılıklı bilgiyi neden [-1, 1] arasında normalleştiriyor?

Noktasal karşılıklı bilgi:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y) [0, 1] ile sınırlıdır, bu nedenle log (p (x, y)) (, 0] ile sınırlıdır. pay, ama tam olarak nasıl olduğunu anlamıyorum.Ayrıca bana entropi hatırlatıyor , ama yine de tam ilişkiyi anlamıyorum. $h=-log(p(x))$

entropy information-theory mutual-information

— 2cents
kaynak

Başlangıç için, noktaya karşılıklı bilgi logaritma kullanır (onun yazım hatası veya başka bir miktar kullanıp kullanmadığından emin değilim ).

— Piotr Migdal

12

Vikipedi girişinde karşılıklı olarak karşılıklı bilgi :

Noktasal karşılıklı bilgi [-1, + 1] arasında normalleştirilebilir ve sonuçta birlikte asla meydana gelmemesi için -1 (sınırda), bağımsızlık için 0 ve tam bir ortak oluşum için +1 elde edilir.

Neden oluyor? Eh, için tanım noktasal karşılıklı bilgi olduğunu

p m i \equiv \log [\frac{p (x, y)}{p (x) p (y)}] = \log p (x, y) - \log p (x) - \log p (y),

$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$

oysa normalleştirilmiş puansal karşılıklı bilgi için:

n p m i \equiv \frac{p m i}{- \log p (x, y)} = \frac{\log [p (x) p (y)]}{\log p (x, y)} - 1.

$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$

Ne zaman var:

ortak oluşum yok, $\log p(x,y)\to -\infty$ , yani nmpi -1,
rastgele rastlantılar, $\log p(x,y)= \log[p(x) p(y)]$ , yani nmpi 0,
tam ortak oluşumlar, $\log p(x,y)= \log p(x) = \log p(y)$ , yani nmpi 1'dir.

— Piotr Migdal
kaynak

Npmi'nin neden aralıkta olduğunu göstermek daha eksiksiz bir yanıt olurdu

[- 1, 1]

$[-1,1]$ . Kanıtımı diğer cevapta görün.

— Hans

1

Piotr Migdal'ın cevabı, nmpi'nin üç uç değer elde ettiği örnekleri verirken bilgilendirici olsa da, bunun aralıkta olduğunu kanıtlamaz. $[-1,1]$ . Eşitsizlik ve onun türetilmesi.

\begin{aligned} \log p (x, y) \\ \leq & \log p (x, y)) - \log p (x) - \log p (y) \\ = & \log \frac{p (x, y)}{p (x) p (y)} =: pmi (x; y) \\ = & \log p (y | x) + \log p (y | x) - \log p (x, y) \\ \leq & - \log p (x, y) \end{aligned}

$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$ gibi

- \log p (A) \geq 0

$-\log\,p(A)\ge0$ for any event

A

$A$ . Dividing both side by the non-negative

h (x, y) := - \log p (x, y)

$h(x,y):=-\log\,p(x,y)$ , we have

- 1 \leq NMPI (x; y) : = \frac{MPI (x, y)}{h (x, y)} \leq 1.

$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$

— Hans
kaynak