Büyük olasılık harfleri olmadığında Huffman kodu ne kadar iyi?

Bir olasılık dağılımı için Huffman kod en az ağırlıklı ortalama kod sözcüğü uzunluğuna sahip önek kodu , uzunluğu inci codword. Huffman kodunun sembol başına ortalama uzunluğunun ve arasında olduğu bilinen bir teoremdir , burada Shannon entropisidir. olasılık dağılımının. $p$ $\sum p_i \ell_i$ $\ell_i$ $i$ $H(p)$ $H(p)+1$ $H(p) = -\sum_i \, p_i \log_2 p_i$

Ortalama uzunluğun Shannon entropisini neredeyse 1'e geçtiği kanonik kötü örnek, entropinin neredeyse 0 olduğu ve ortalama kod sözcüğü uzunluğunun 1 olduğu gibi bir olasılık dağılımıdır entropi ve neredeyse olan codeword uzunluğu arasında bir boşluk . $\{.999, .001\}$ $1$

Peki, olasılık dağılımındaki en büyük olasılık üzerinde bir sınır varsa ne olur? Örneğin, tüm olasılıkların değerinden daha az olduğunu varsayalım . Bu durumda bulabileceğim en büyük boşluk , entropinin 1'den biraz daha fazla olduğu ve ortalama kod sözcüğü uzunluğunun 1.5'ten biraz daha az olduğu, gibi bir olasılık dağılımı içindir boşluk yaklaşıyor . Yapabileceğin en iyi şey bu mu? Bu dava için kesinlikle 1'den daha az olan boşluğa bir üst sınır verebilir misiniz? $\frac{1}{2}$ $\{.499, .499, .002\}$ $0.5$

Şimdi, tüm olasılıkların çok küçük olduğu durumu düşünelim. Her biri olasılık olan harfleri üzerinde bir olasılık dağılımı seçtiğinizi varsayalım . Bu durumda, en büyük boşluk seçerseniz oluşur . Burada, civarında bir boşluk elde Tüm olasılıkların küçük olduğu durumlarda yapabileceğiniz en iyi şey bu mu? $M$ $1/M$ $M \approx 2^k \ln 2$

\frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607.

$\frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607.$

Bu soru, bu TCS Stackexchange sorusundan ilham aldı .

optimization it.information-theory coding-theory

— Peter Shor
kaynak

Yanıtlar:

Bahsettiğiniz sorunu tam olarak inceleyen birçok makale var. Serinin ilki, Gallager, "Huffman Tarafından Bir Temada Çeşitlemeler", IEEE-IT, cilt. 24, 1978, sayfa 668-674. Bir Huffman kodunun ortalama kod sözcüğü uzunluğu ile entropi (bu miktar "artıklık" olarak adlandırılır) arasındaki farkın her zaman kesinlikle (= olasılık dağılımındaki en büyük olasılık) daha düşük olduğunu ve eğer ise, azdır . Daha iyi sınırlar olduğu biliniyor, bunları Gallager'ın eserini alıntılayan sayısız makalede bulabilirsiniz. $p$ $p\geq 1/2$ $p+0.086$ $p<1/2$

— Ugo
kaynak

Optimal sınır, Manstetten tarafından bulundu , Huffman kodlarının fazlalığı üzerine Tight sınırları .

— Yuval Filmus

sınırına bakılırsa , farklı bir soru sormak istediğine inanıyorum ... ya da "ortalama" yı nasıl alacağını belirtmedin. Yani ikisine de cevap vereceğim. Cevap her iki soruya da hayır. $H(p) \leq \ldots \leq H(p)+1$

Öncelikle, kod kelimeleri üzerinden tek tip bir dağılım kullanarak ortalama kod uzunluğunu tanımlarsanız ve herhangi bir öğenin olasılığı üzerine üst sınır olarak alırsanız , uzunluk kodunu düşünün, burada kod kelimelerinin uzunluğu , kalan uzunluğu . Bu kod tarafından mükemmel şekilde kodlanan dağıtım için, ortalama uzunluk değerine yaklaşır , eğer bir elementin olasılığı için daha düşük bir bağınız yoksa, entropi . $2^{-q}$ $q+k$ $2^{q-1}$ $q$ $2^{q+k-1}$ $q+k$ $q+k$ $q+\frac{k}{2}$

Şimdi Huffman kodunu kodlamak için kullanıldığında ortalama kod sözcüğü uzunluğu anlamına gelen "ortalama uzunluğu" düşünelim . Burada sınır sıkıdır ve bunu sınırda gerçekleştiren bir örnek dağılım, her elemanın için olasılığıyla gerçekleştiği bir dağılımdır(Nihai öğeye artık olasılık atanır, ancak asimptotik olarak hiçbir fark yaratmaz). $p$ $2^{q\pm 1/2}$ $q \in {\mathbb Z}.$

Örnek vermek gerekirse, O $q = 7.$

$A + B = 128, A\sqrt{2}+B/\sqrt{2}\leq 128, \max_{A \in {\mathbb Z}} A$ verir . Dağılımımız olasılıkla element , olasılıkla öğeden oluşuyor ve bir element artıkları alıyor. $A = 52, B = 76$ $52$ $2^{-6.5}$ $76$ $2^{-7.5}$

Daha sonra , Huffman kodu entropi kaybına . (Bu arada, entropi kaybının, Huffman kodunu veya için rasgele kodlama yapıp yapmadığına dair bir adı vardır : Kullback-Liebler ayrışması Kullanarak birkaç gün önce keşfettim, Wikipedia'da Chernoff'un sınırlarını görebildiğin gibi çift taraflı daha dar Chernoff sınırlarına yol açıyor.) $H(X) = (52\cdot 6.5 + 76 \cdot 7.5)/128 = 7.09375$ $(52 \cdot 0.5 - 76 \cdot 0.5)/128 \approx 0.99436$ $Q$ $D(P\Vert Q) = \sum p_i \log \frac{p_i}{q_i} + \sum (1-p_i) \log \frac{1-p_i}{1-q_i}$

— Carl
kaynak

Bu ikinci örnekten biraz şaşırdım. 128 kod sözcüğünüz varsa, ortalama kelime uzunluğu 7 olan (aslında, tüm kelime uzunlukları 7 olan) bir kod vardır; bu, entropinin 7.09375 olduğu ifadesine aykırıdır. Huffman kodunun ortalama uzunluğu . Bu dağılımın entropisi (ortalama ve ortalama değil) ve Huffman kodunun ortalama uzunluğu 7'dir. 0.12 civarında, bu benim örneğimden biraz daha iyi görünüyor, ama 1'e yakın değil.

- \log_{2} p_{i}

$-\log_2 p_i$

— Peter Shor

Ve gerçekten de haklısın. Olasılık dağılımında beklenen kod sözcüğü uzunluğunu sormayı planladım .

p

$p$

— Peter Shor

Hata! vs hakkında yanlış hesapladım . Hala daha küçük girişleri alt satıra zorlamak için biraz az olmasını istiyoruz, ancak gibi şey . Bu,

A

$A$

B

$B$

A \sqrt{2} + B / \sqrt{2}

$A\sqrt{2}+B/\sqrt{2}$

2^{k}

$2^k$

A + 2 B = 2^{k}

$A+2B=2^k$

A = \frac{2 - 1 / \sqrt{2}}{\sqrt{2} - 1} B .

$A = \frac{2-1/\sqrt{2}}{\sqrt{2}-1}B.$

— Carl,

Aslında bu olurdu ... ama bu denklem sisteminin olumlu bir çözümü yok - her şeyi tam sayı güçleri olmaya zorlayamıyoruz gibi görünüyor . Öyleyse, ve yerine Huffman kodunun yarısı için örneğin ve geri kalanlar için, girişi ...

2 A + B

$2A+B$

2

$2$

\sqrt{2}

$\sqrt{2}$

1 / \sqrt{2}

$1/\sqrt{2}$

(1 + x) / 2^{k}

$(1+x)/2^k$

(1 - x) / 2^{k + 1}

$(1-x)/2^{k+1}$

3 * 2^{k}

$3*2^k$

— Carl

Yani, bunu deneyin (optimal değil - sanırım nasıl aşağı ya da yukarı doğru karar verdiğinize bağlı). olasılık ile girdiler ve olasılığının girişleri entropi vardır . Bunun yerine bu değişiklik olasılık içeren girişleri ve olasılık içeren girişleri . Bu dağılımın entropisi olup, 6.4023'ü verirken, Huffman kodunun entropisi tekdüze altında 7.5'dir veYani yanlış hesaplanmadım (ve sık sık yaptığım), bu yaklaşık bir boşluk verir

64

$64$

1 / 128

$1/128$

128

$128$

1 / 256

$1/256$

7.5

$7.5$

64

$64$

1 / 128 \sqrt{2}

$1/128\sqrt{2}$

128

$128$

1 / 256 (2 - 1 / \sqrt{2})

$1/256(2-1/\sqrt{2})$

1 / (2 \sqrt{2}) * 7.5 + (1 - 1 / (2 \sqrt{(} 2))) * 5.802

$1/(2\sqrt{2})*7.5+(1-1/(2\sqrt(2)))*5.802$

(1 - 2^{- 1.5}) * 7 + 2^{- 1.5} * 8 = 7.3535.

$(1-2^{-1.5})*7+2^{-1.5}*8 = 7.3535.$

0.95

$0.95$ .

— Carl,