Huffman Kodlamasının Aritmetik kodlamaya bir genellemesi var mı?

Huffman Kodlaması, Aritmetik Kodlama ve Aralık Kodlaması arasındaki ilişkileri anlamaya çalışırken, Huffman kodlamasının eksikliklerinin kesirli bit paketleme sorunuyla ilgili olduğunu düşünmeye başladım .

Yani, bir sembol için 240 olası değere sahip olduğunuzu ve bunu bitlere kodlamanız gerektiğini varsayalım, "tam" 8'e ihtiyacınız olmasa bile, sembol başına 8 bit ile sıkışmış olacaksınız, çünkü 8, 256 olası değeri ifade edebilir sembol başına. Bu soruna bir çözüm, "kesirli bit paketleme" olarak adlandırılan bir şeydir, burada çarpma kullanarak iki güç olmadan "bitshift" yapabilirsiniz. Sadece güçler-iki çoğalması gibi değiştiriyor x * 2 == x << 1ve x * 4 == x << 2böylece de sen fraksiyonel bit büyüklüğünde sembolleri olmayan bir güç-of-2 yerine çarparak ile "shift" ve paketi olabilir, ikisinin bütün güçler için ve benzeri .

Sorun Huffman kodlamasında benzerdir: kesirli olmayan bit boyutunda olması gereken kodlarla sonuçlanırsınız ve bu nedenle bu paketleme verimsizliğine sahiptir. Bununla birlikte, sadece fraksiyonel bit paketleme çözümünü kullanamazsınız, çünkü bu çözüm sabit boyutlu semboller varsayar.

Soru, aritmetik kodlamaya benzer bir şey elde etmek için kesirli bit paketlemesine benzer bir fikirle huffman kodlamasında iyileştirilecek herhangi bir kağıt veya çözüm var mı? (veya aksine herhangi bir sonuç).

— Realz Lahana Salatası
kaynak

Aritmetik kodlama zaten optimal. Geliştirmeye gerek yok.

— Yuval Filmus

@YuvalFilmus evet demek istedim, aritmetik kodlama ile eşit hale getirmek için huffman kodlama geliştirmek nasıl.

— Realz Slaw

Bir öneri olarak, Asimetrik Sayısal Sistem (ANS) kodlamasını, aritmetik kodlamaya göre daha kolay bulabilirsiniz. Özellikle, bu formülasyonun "kesirli bit paketleme" olarak görülmesi biraz daha kolaydır.

— Takma isim

@Pseudonym RANS ve Huffman Kodlaması arasında bu bağlantıyı yapmış gibi görünen bu sayfayı buldum . Henüz anladığımı söyleyemem ama bence yeterli. Yorumu cevaplarsanız kabul edeceğim.

— Realz Slaw

@YuvalFilmus Umarım aritmetik kodlamanın iyileştirmeye ihtiyacı olduğu ve ANS'nin bir iyileştirme olduğunu söyledim.

— Takma ad

Huffman kodlaması hakkında biraz farklı düşünme şekline bakalım.

0.5, 0.25 ve 0.25 olasılıkları olan A, B ve C olmak üzere üç sembolden oluşan bir alfabeniz olduğunu varsayalım. Olasılıkların hepsi ikisinin ters kuvvetleri olduğu için, bu optimal olan bir Huffman koduna sahiptir (yani aritmetik kodlama ile aynıdır). Bu örnek için 0, 10, 11 standart kodunu kullanacağız.

Bizim devlet olarak adlandırdığımız bir büyük tam sayı olduğu varsayalım . Kodlamayı, geçerli durumu alan bir işlev ve kodlanacak ve yeni durumu döndüren bir sembol olarak düşünebilirsiniz: $s$

\begin{aligned} encode (s, A) & = 2 s \\ encode (s, B) & = 4 s + 2 \\ encode (s, C) & = 4 s + 3 \end{aligned}

$\begin{align*} \hbox{encode}(s, A) &= 2s\\ \hbox{encode}(s, B) &= 4s + 2\\ \hbox{encode}(s, C) &= 4s + 3\\ \end{align*}$

Şimdi durum 11 ile (ikili olarak 1011) başlayalım, B sembolünü kodlayalım. Yeni durum 46, ikili olarak 101110. Gördüğünüz gibi, bu, dizi 10'un sonuna eklenmiş olan "eski" durumdur. Biz esas olarak bit dizisi 10 "çıktı" var.

Çok uzak çok iyi.

Şimdi bir an için aritmetik kodlamanın nasıl çalıştığını düşünün. Olasılıkları ortak bir payda üzerine koyarsanız, A sembolü aslında aralığı temsil eder , B sembolü $[\frac{0}{4},\frac{2}{4})$ ve C sembolü $[\frac{2}{4},\frac{3}{4})$ . $[\frac{3}{4},\frac{4}{4})$

Temelde burada yaptığımız her şeyi ortak payda ile çarpmak. Durumun aslında taban 4'te olduğunu düşünün. Bir B sembolünü kodlamak gerçekten bu tabanda 2 rakamını çıkarır ve bir C sembolünü kodlamak o tabanda 3 rakamını çıkarır.

Bununla birlikte, A sembolü biraz farklıdır, çünkü taban 4'te tam bir rakam değildir.

Bunun yerine, alfabeyi A_0, A_1, B, C, eşit olasılıklı simgeler kümesi olarak düşünebiliriz. Bu, yine, optimum bir Huffman koduna 00, 01, 10, 11 sahiptir. Ya da, bunu taban 4'te düşünebiliriz. Bir sembolü kodlamak için sadece şunu yaparız:

\begin{aligned} encode (s, A_{0}) & = 4 s + 0 \\ encode (s, A_{1}) & = 4 s + 1 \\ encode (s, B) & = 4 s + 2 \\ encode (s, C) & = 4 s + 3 \end{aligned}

$\begin{align*} \hbox{encode}(s, A_0) &= 4s + 0\\ \hbox{encode}(s, A_1) &= 4s + 1\\ \hbox{encode}(s, B) &= 4s + 2\\ \hbox{encode}(s, C) &= 4s + 3 \end{align*}$

Şimdi B ve C sembollerinin nasıl kodlanacağı açık, ancak A sembolünü kodlamak için bir seçeneğimiz var. Hangisi ve kullanacağız? $A_0$ $A_1$

Şimdi burada akıllıca bir fikir: Biz devlet bilgilerin bir bit çalmak : $s$

s^{'} = ⌊ \frac{s}{2} ⌋

$s' = \left\lfloor \frac{s}{2} \right\rfloor$

i = s mod 2

$i = s \bmod 2$

ve sonra . $\hbox{encode}(s', A_i)$

Önceki örneğimizi kullanarak, , ve olduğunu buldukve . Yeni durum ikili olarak 10101'dir. $s=11$ $s'=5$ $i=1$ $\hbox{encode}(5, A_1) = 4\times 5+1 = 21$

Şimdi bu, Huffman kodlamasıyla tam olarak aynı bit çıktısını üretmez, ancak aynı uzunlukta bir çıktı üretir. Ve umarım görebileceğiniz gibi, bu da benzersiz bir şekilde çözülebilir. Bir sembolün kodunu çözmek için, 4'e bölündükten sonra kalanları alırız. Değer 2 veya 3 ise, sembol sırasıyla B veya C'dir. 0 veya 1 ise, sembol A olur ve sonra durumu 2 ile çarpıp 0 veya 1 ekleyerek biraz bilgi ekleyebiliriz.

Bu yaklaşımla ilgili güzel olan şey, olasılıkların payı ve / veya paydası ikisinin gücü olmadığında, doğal olarak kesirli bit kodlamasına uzanmasıdır. A ve B olmak üzere iki sembolümüz olduğunu varsayalım, burada A olasılığı ve B olasılığı $\frac{3}{5}$ . Sonra bir sembolü şu şekilde kodlayabiliriz: $\frac{2}{5}$

\begin{aligned} encode (s, A_{0}) & = 5 s + 0 \\ encode (s, A_{1}) & = 5 s + 1 \\ encode (s, A_{2}) & = 5 s + 2 \\ encode (s, B_{0}) & = 5 s + 3 \\ encode (s, B_{1}) & = 5 s + 4 \end{aligned}

$\begin{align*} \hbox{encode}(s, A_0) &= 5s + 0\\ \hbox{encode}(s, A_1) &= 5s + 1\\ \hbox{encode}(s, A_2) &= 5s + 2\\ \hbox{encode}(s, B_0) &= 5s + 3\\ \hbox{encode}(s, B_1) &= 5s + 4 \end{align*}$

$s' = \left\lfloor \frac{s}{3} \right\rfloor$ $i = s \bmod 3$ $\hbox{encode}(s', A_i)$

Bu aritmetik kodlamaya eşdeğerdir. Aslında Asimetrik Sayısal Sistemler olarak bilinen bir yöntem ailesidir ve son birkaç yıldır Jarek Duda tarafından geliştirilmiştir. İsmin anlamı açık olmalıdır: sembolünü olasılık ile kodlamak $\frac{p}{q}$

Kodlama yöntemleri ailesi olmasının nedeni, burada gördüğümüz şeyin kendi başına pratik olmamasıdır; durum değişkenini verimli bir şekilde manipüle etmek için muhtemelen sonsuz hassasiyetli tamsayılara sahip olmamanız için bazı değişikliklere ihtiyaç duyar ve bunu başarmanın çeşitli yolları vardır. Aritmetik kodlama, elbette, durumu için benzer bir soruna sahiptir.

Pratik varyantlar arasında rANS ("r", "oran" anlamına gelir) ve tANS ("tablo güdümlü") sayılabilir.

ANS'nin hem pratik hem de teorik olarak aritmetik kodlamaya göre birkaç ilginç avantajı vardır:

Aritmetik kodlamanın aksine, "durum" bir çift sözcük yerine tek bir kelimedir.
Sadece bu değil, aynı zamanda bir ANS kodlayıcısı ve karşılık gelen kod çözücüsü aynı durumlara sahiptir ve işlemleri tamamen simetriktir. Bu , kodlanmış sembollerin farklı akışlarını araya sokabilmeniz ve her şeyin mükemmel şekilde senkronize edilmesi gibi bazı ilginç olasılıkları artırır .
Pratik uygulamaların, elbette, bilgileri gittikçe "çıktılamak" ve sadece sonunda yazmak için büyük bir tamsayıda toplamak değil. Bununla birlikte, "çıktının" boyutu (genellikle mütevazı) sıkıştırma kaybı karşılığında yapılandırılabilir. Dolayısıyla, aritmetik kodlayıcıların bir kerede biraz çıktı alması gerektiğinde, ANS bir seferde bir bayt veya bir çakıl çıktısı verebilir. Bu size hız ve sıkıştırma arasında doğrudan bir denge sağlar.
Mevcut nesil donanımda ikili aritmetik kodlama kadar hızlı ve bu nedenle Huffman kodlaması ile rekabet edebilir görünmektedir. Bu onu büyük harfli aritmetik kodlama ve değişkenlerinden (ör. Aralık kodlama) çok daha hızlı yapar.
Patentsiz görünüyor.

Bir daha asla aritmetik kodlama yapacağımı sanmıyorum.

— takma ad
kaynak

Şimdi bu gördüğüm ANS kodlamasıyla ilgili en açık açıklama.

— Michael Deardeuff

Basit bir örnek olarak, her biri 1/3 olasılıklı üç sembolünüz varsa, optimum Huffman kodlamanızda ortalama 5/3 bitlik üç sembol 0, 10 ve 11 kullanılır.

Her biri 1/243 olasılığı olan orijinal sembollerden 5'ini birleştirerek oluşturulan 243 sembol vardır. 1/256'ya çok daha yakın. Optimal Huffman kodlaması, bu grupların 13'ünü 7 bitte ve 230 grupta 8 bitte kodlar, grup başına ortalama 7.9465 bit veya orijinal sembol başına 1.5893 bit, 1.5850 alan aritmetik kodlama ile 1.6667 bit bit.

Yani teoride iki simgeyi daha büyük bir simgede veya üç simgeyi daha büyük bir simgede birleştirebilir ve kombinasyonlar için Hufman kodlamasını kullanabilirsiniz.

— gnasher729
kaynak