Eklem entropisi hakkında sezgi

Eklem entropisi hakkında bazı sezgiler oluşturmakta zorlanıyorum. = eklem dağılımındaki belirsizlik ; = belirsizlik ; = belirsizlik .$H(X,Y)$$p(x,y)$$H(X)$$p_x(x)$$H(Y)$$p_y(y)$

H (X) yüksekse, dağılım daha belirsizdir ve böyle bir dağılımın sonucunu biliyorsanız daha fazla bilgiye sahipsiniz! Böylece H (X) aynı zamanda bilgiyi nicelleştirir.

Şimdi gösterebiliriz$H(X,Y) \leq H(X) + H(Y)$

Bildiğiniz Ama eğer alabilirsiniz ve bir anlamda bu kadar hem daha fazla bilgi bulunmaktadır ve 'olmamalı bu yüzden, t (x, y) ile ilgili belirsizlik, bireysel belirsizliklerin toplamından daha mı fazla?$p(x,y)$$p_x(x)$$p_y(y)$$p(x,y)$$p_x(x)$$p_y(y)$

genel bir kural olarak, ek bilgi hiçbir zaman entropiyi arttırmaz, bu da resmi olarak şu şekilde ifade edilir:

eşitlik ve bağımsız ise anlamına gelir .$X$$Y$$H(X|Y) = H(X)$

Bu sonuç, eklem entropisinin . Bunu göstermek için basit bir vakasını düşünün . Zincir kuralına göre, birleştirme entropisini aşağıdaki gibi yazabiliriz$H(X_1, X_2, ..., X_n) \leq \sum_{i=1}^{n} H(X_i)$$H(X,Y)$

Eşitsizlik göz önüne alındığında , değişken entropisini ve dolayısıyla asla arttırmaz . Tümevarım kullanılarak bu sonuç ikiden fazla değişken içeren vakalarda genelleştirilebilir.$*$$H(X|Y)$$X$$H(X,Y) \leq H(X) + H(Y)$

Umarım eklem entropisi hakkındaki belirsizliği (veya entropinizi) azaltmaya yardımcı olmuştur!

Shannon entropisinin başka bir bakış açısı daha var. Bir değişkenin somut değerinin ne olduğunu sorularla tahmin etmek istediğinizi düşünün. Basit olması için, değerin yalnızca sekiz farklı değer alabileceğini ve hepsinin eşit derecede olası olduğunu düşünün .$\left(0,1,..., 8\right)$

En etkili yol ikili arama yapmaktır. İlk önce 4'ten büyük mü yoksa küçük mü diye sorun. Sonra 2 veya 6 ile karşılaştırın, vb. Toplamda üçten fazla soruya ihtiyacınız olmayacak (bu somut dağılımın bit sayısı).

İki değişken için benzerliği devam ettirebiliriz. Bağımsız değillerse, bunlardan birinin değerini bilmek, bir sonraki soru için (ortalama olarak) daha iyi tahminler yapmanıza yardımcı olur (bu omidi tarafından belirtilen sonuçlara yansıtılır ). Bu nedenle, tamamen bağımsız olmadıkça, değerlerini bağımsız olarak tahmin etmeniz gereken entropi daha düşüktür. Entropinin daha düşük olduğunu söylemek (bu somut örnek için) ortalama olarak daha az soru sormanız gerektiği anlamına gelir (yani, daha iyi tahminlerde bulunacağınızdan daha sık).

Görünüşe göre "biliniyorsa daha fazla bilgi, bilinmediğinde daha fazla entropi" diye düşünüyoruz. Bu doğru bir sezgi değildir , çünkü eğer dağıtım bilinmiyorsa, entropisini bile bilmiyoruz. Dağılım biliniyorsa, entropi , bilinmeyen kalan rasgele değişkenin gerçekleşmesi hakkındaki belirsizliği tanımlamak için gereken bilgi miktarını nicelendirir (dağılımı bilerek sadece bu belirsizliği çevreleyen yapıyı biliyoruz). Entropi yok değil dağıtımında bilgi "hediye" ölçmek. Aksine: Daha fazla bilgi belirsizliği tanımlamak ve böylece için "gerekli" dağıtım, az bilgi "dahil" daha azentropi. Tekdüze dağılımı düşünün: çok az bilgi içerir , çünkü değişkenin tüm olası değerleri eşlenebilirdir: bu nedenle sınırlı destekli tüm dağıtımlar arasında maksimum entropi vardır.

Ortak Entropi'ye gelince, bunu şu şekilde düşünebilirsiniz: ortak dağılım, iki değişkenin bağımlı olup olmadığı hakkında bilgi ve marjinal dağılımları türetmek için yeterli bilgi içerir. Marjinal dağılımlar, iki rasgele değişkenin bağımlı veya bağımsız olup olmadığı hakkında bilgi içermez. Bu nedenle, ortak dağıtım daha fazla bilgiye sahip ve bize rastgele değişkenleri çevreleyen daha az belirsizlik sağlıyor:

Dağıtımla ilgili daha fazla bilgi $\rightarrow$ değişkenleri çevreleyen daha az belirsizlik $\rightarrow$ bu belirsizliği tanımlamak için daha az bilgi gerekiyor $\rightarrow$ daha az entropi.