Çapraz Entropi Nedir?

Bu soru , formülü açısından çapraz entropinin nicel bir tanımını vermektedir.

Daha kavramsal bir tanım arıyorum, wikipedia diyor ki:

Bilgi teorisinde, iki olasılık dağılımı arasındaki çapraz entropi , "gerçek" dağılım p yerine belirli bir olasılık dağılımına q dayalı bir kodlama şeması kullanılırsa , bir dizi olasılıktan bir olayı tanımlamak için gereken ortalama bit sayısını ölçer. .

Bunu anlamada bana sıkıntı veren kısmı vurguladım. Entropinin ayrı olarak (önceden var olan) anlaşılmasını gerektirmeyen güzel bir tanım istiyorum.

entropy information-theory

— Lyndon White
kaynak

Aynı zamanda entropinin kendisini tanımlayacak olan çapraz- entropinin bir tanımını istiyorsunuz . Ve sezgisel olarak ... Entropi kavramının kendisini anlamakta sorun yaşıyorsanız, önce temel kavramı sonra da uzantılarını anlamak iyi bir fikir olacaktır.

— Alecos Papadopoulos

Şahsen Entropi hakkında temel bir anlayışım vardı (uyguladığımdan bu yana neredeyse 12 ay geçmesine rağmen). Ancak Entropinin niceliksel bir ifadesi kısa bir paragrafa sığmalı ve çapraz entropi sadece bir tane daha almalıdır. Bu yüzden iyi bir yanıtın her ikisini de içerebileceğini hissediyorum, böylece okuyucunun anlamak için başka bir yere başvurması gerekmez.

— Lyndon White

İlgili yayınlara bakın: stats.stackexchange.com/questions/66186/… ve stats.stackexchange.com/questions/188903/…

— kjetil b halvorsen

$p$ $\log_2(1/p)$

\sum_{i} p_{i} \log_{2} (\frac{1}{p_{i}}),

$\sum_i p_i \log_2(\tfrac{1}{p_i}),$

$P$ $Q$

\sum_{i} p_{i} code_length(i) = \sum_{i} p_{i} \log_{2} (\frac{1}{q_{i}}),

$\sum_i p_i \text{code_length($i$)} = \sum_i p_i \log_2(\tfrac{1}{q_i}),$

\sum_{i} p_{i} \log_{2} (\frac{1}{p_{i}})

$\sum_i p_i \log_2(\tfrac{1}{p_i})$

$P=(\tfrac{1}{2}, \tfrac{1}{2}, 0, 0)$

Daha sonra onu en iyi şekilde kodlamak istiyorsak, A'yı 0 ve B'yi 1 olarak kodlarız, böylece bir harf başına bir bit kodlanmış mesaj alırız. (Ve tam da olasılık dağılımımızın Shannon entropisidir.)

$P$ $Q=(\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4})$

— Piotr Migdal
kaynak

Güzel açıklama, teşekkürler. Ancak wikipedia tanımı sum_i [p_i * log (q_i)] şeklindedir. 1 / q_i kullanımınız olası durumların sayısını verir, bu nedenle log_2 bunu tek bir sembolü kodlamak için gereken bit sayısına dönüştürür, ancak wikipedia sayfası çok farklı bir şeyi tanımlar.

— redcalx

1 / q_{i}

$1/q_i$

\log (1 / q_{i}) = - \log (q_{i})

$\log(1/q_i)=-\log(q_i)$