Bilgi kazanımı, karşılıklı bilgi ve ilgili önlemler

Andrew More bilgi kazancını şöyle tanımlar :

$IG(Y|X) = H(Y) - H(Y|X)$

burada olan koşullu entropi . Ancak, Wikipedia yukarıdaki miktar karşılıklı bilgileri çağırır .$H(Y|X)$

Vikipedi, bilgi kazancını iki rastgele değişken arasındaki Kullback – Leibler ayrıntısı (aka bilgi ayrışması veya göreceli entropi) olarak tanımlar :

$D_{KL}(P||Q) = H(P,Q) - H(P)$

burada çapraz entropi olarak tanımlanmaktadır .$H(P,Q)$

Bu iki tanım birbiriyle tutarsız görünüyor.

Ayrıca diğer yazarları, diferansiyel entropi ve göreceli bilgi kazanımı gibi iki ek ilgili kavramdan bahsettiğini de gördüm.

Bu nicelikler arasındaki kesin tanım veya ilişki nedir? Hepsini kapsayan iyi bir ders kitabı var mı?

• Bilgi kazancı
• Karşılıklı bilgi
• Çapraz entropi
• Koşullu entropi
• Diferansiyel entropi
• Göreceli bilgi kazancı

Kullback-Leibler ıraksama "bilgi kazancı" olarak adlandırmanın standart olmadığını düşünüyorum.

İlk tanım standart.

EDIT: Ancak, de karşılıklı bilgi olarak adlandırılabilir.$H(Y)−H(Y|X)$

Gerçekten standart, kesin ve tutarlı bir adlandırma düzenine sahip herhangi bir bilimsel disiplin bulacağınızı düşünmüyorum. Bu yüzden her zaman formüllere bakmak zorunda kalacaksınız, çünkü genellikle size daha iyi bir fikir vereceklerdir.

Ders kitapları: bkz. "Farklı entropilere giriş" .

Ayrıca: Cosma Shalizi: Karmaşık Sistem Biliminin Yöntem ve Teknikleri: Genel Bir Bakış, Thomas S. Deisboeck ve J. Yasha Kresh (ed.), Biomedicine Kompleks Sistem Bilimi bölüm 1 (s. 33-114) http: // arxiv.org/abs/nlin.AO/0307015

Robert M. Gray: Entropi ve Bilgi Teorisi http://ee.stanford.edu/~gray/it.html

David MacKay: Bilgi Kuramı, Çıkarım ve Öğrenme Algoritmaları http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

ayrıca, "Entropi ve bilgi kazancı" nedir?

$p(X,Y)$$P(X)P(Y)$

$$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$$

Note: $p(y) = \sum_x p(x,y)$

Mutual information can be defined using Kullback-Liebler as

$$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$$

Extracting mutual information from textual datasets as a feature to train machine learning model: ( the task was to predict age, gender and personality of bloggers)

Both definitions are correct, and consistent. I'm not sure what you find unclear as you point out multiple points that might need clarification.

Firstly: $MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$ are all different names for the same thing. In different contexts one of these names may be preferable, i will call it hereon Information.

The second point is the relation between the Kullback–Leibler divergence-$D_{KL}$, and Information. The Kullback–Leibler divergence is simply a measure of dissimilarity between two distributions. The Information can be defined in these terms of distributions' dissimilarity (see Yters' response). So information is a special case of $K_{LD}$, where $K_{LD}$ is applied to measure the difference between the actual joint distribution of two variables (which captures their dependence) and the hypothetical joint distribution of the same variables, were they to be independent. We call that quantity Information.

The third point to clarify is the inconsistent, though standard notation being used, namely that $\operatorname{H} (X,Y)$ is both the notation for Joint entropy and for Cross-entropy as well.

So, for example, in the definition of Information:

$$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$$ in both last lines, $\operatorname{H}(X,Y)$ is the joint entropy. This may seem inconsistent with the definition in the Information gain page however: $DKL(P||Q)=H(P,Q)−H(P)$ but you did not fail to quote the important clarification - $\operatorname{H}(P,Q)$ is being used there as the cross-entropy (as is the case too in the cross entropy page).

Joint-entropy and Cross-entropy are NOT the same.

Check out this and this where this ambiguous notation is addressed and a unique notation for cross-entropy is offered - $H_q(p)$

I would hope to see this notation accepted and the wiki-pages updated.