Shannon Entropisi 0.922, 3 Farklı Değer

bir dizi değer verildiğinde , log base Shannon Entropy  gelir . Anladığım kadarıyla, taban  Shannon Entropy yuvarlanmış, değerlerden tek bir tanesini temsil etmek için ikili sayıdaki minimum bit sayısıdır.$AAAAAAAABC$$2$$0.922$$2$

Bu wikipedia sayfasındaki girişten alınmıştır:

https://en.wikipedia.org/wiki/Entropy_%28information_theory%29

Peki, üç değer bir bit ile nasıl temsil edilebilir?  olabilir  ,  olabilir  ; ama nasıl temsil edebilirsin  ?$A$$1$$B$$0$$C$

Şimdiden teşekkür ederim.

Hesapladığınız entropi oluşturur rastgele sembol kaynağı için, daha doğrusu belirli dize için gerçekten değil ama olasılığıyla  ve ve  olasılığıyla  her , birbirini izleyen semboller arasında bir korelasyon olmadan. Bu dağılım için hesaplanan entropi, , ortalama olarak karakter başına bit'ten daha azını kullanarak bu dağıtımdan oluşturulan dizeleri temsil edemeyeceğiniz anlamına gelir .$A$$\tfrac{8}{10}$$B$$C$$\tfrac1{10}$$0.922$$0.922$

Bu oranı elde edecek bir kod geliştirmek oldukça zor olabilir. ^* Örneğin, Huffman kod tahsis olur kodlama , ve  için , ve  arasında bir ortalama için sırasıyla  karakter başına bit. Bu entropiden oldukça uzak olsa da, karakter başına iki bitin saf kodlamasından daha iyi bir anlaşma. Daha iyi bir on ardışık bile çalıştırmak gerçeğini istismar muhtemelen olacaktır kodlama yönelik her türlü girişimin lar daha olasıdır (olasılık tek yerine)  .$0$$10$$11$$A$$B$$C$$1.2$$A$$0.107$$B$

---

^* İstediğiniz kadar yaklaşmanın zor olmadığı ortaya çıkıyor - diğer cevapları görün!

Her bir simgeyi ortalama olarak 1 bit'ten az olarak temsil edebilen somut bir kodlama:

İlk olarak, giriş dizesini birbirini izleyen karakter çiftlerine bölün (örneğin AAAAAAAABC AA | AA | AA | AA | BC | olur). Daha sonra AA'yı 0, AB olarak 100, AC olarak 101, BA olarak 110, CA olarak 1110, BB olarak 111100, BC olarak 111101, CB olarak 111110, CC olarak 111111 olarak kodlayın. _{Bir tek varsa ne olacağını söylemedim. ancak bazı rasgele kodlama kullanarak son sembolü kodlayabilirsiniz, girişin ne zaman uzun olduğu önemli değildir.}

Bu, bağımsız sembol çiftlerinin dağılımı için bir Huffman kodudur ve Yuval'ın cevabında seçimine karşılık gelir . Daha büyük daha iyi kodlara yol açacaktır (bahsettiği gibi limitte Shannon entropisine yaklaşmak).$n = 2$$n$

Yukarıdaki kodlama için sembol çifti başına ortalama bit sayısı yani sembol başına bit, Shannon entropisinden bu kadar basit bir kodlama için çok uzak değil.

$$\frac{8}{10} \cdot \frac{8}{10} \cdot 1 + 3 \cdot \frac{8}{10} \cdot \frac{1}{10} \cdot 3 + \frac{1}{10} \cdot \frac{8}{10} \cdot 4 + 4 \cdot \frac{1}{10} \cdot \frac{1}{10} \cdot 6 = 1.92$$ $1.92/2 = 0.96$

Let üzerinden aşağıdaki dağılımı olması : Eğer o ve .$\mathcal{D}$$\{A,B,C\}$$X \sim \mathcal{D}$$\Pr[X=A] = 4/5$$\Pr[X=B]=\Pr[X=C]=1/10$

Her için önek kodları böylece $n$$C_n\colon \{A,B,C\}^n \to \{0,1\}^*$

$$\lim_{n\to\infty} \frac{\operatorname*{\mathbb{E}}_{X_1,\ldots,X_n \sim \mathcal{D}}[C_n(X_1,\ldots,X_n)]}{n} = H(\mathcal{D}).$$

Yani, den çok sayıda bağımsız örneği , örnek başına ortalama bit gerekir. Sezgisel olarak, birden fazla bitle yapabilmemizin nedeni, her bir örneğin büyük olasılıkla olması ihtimalidir .$\mathcal{D}$$H(\mathcal{D}) \approx 0.922$$A$

Bu entropinin gerçek anlamıdır ve dizesinin "entropisini" hesaplamanın oldukça anlamsız bir egzersiz olduğunu gösterir.$A^8BC$