PRNG'ler eşyaları sihirli bir şekilde sıkıştırmak için kullanılabilir mi?

Bu fikir, programlamayı öğrenen bir çocuk olarak ve ilk olarak PRNG'lerle karşılaştığımda ortaya çıktı. Ne kadar gerçekçi olduğunu hala bilmiyorum, ama şimdi yığın değişimi var.

İşte şaşırtıcı bir sıkıştırma algoritması için 14 yaşında bir şema:

Bir PRNG alın ve suzun bir sahte rastgele bayt dizisi elde etmek için tohumla birlikte tohumlayın . Bu sırayı başka bir tarafa iletmek için yalnızca PRNG'nin bir tanımını, uygun tohumlamayı ve mesajın uzunluğunu iletmeniz yeterlidir. Yeterince uzun bir sekans için, bu açıklama sekansın kendisinden çok daha kısa olacaktır.

Şimdi, süreci tersine çevirebileceğimi varsayalım. Yeterli zaman ve hesaplama kaynakları göz önüne alındığında kaba kuvvet araştırması yapabilir ve istediğim diziyi üreten bir tohum (ve PRNG veya başka bir deyişle: bir program) bulabilirim (kedilerin yaramaz olduğu eğlenceli bir fotoğraf diyelim).

PRNG'ler yeterli sayıda bit üretildikten sonra tekrar ederler, ancak "tipik" çevrimlerle karşılaştırıldığında mesajım oldukça kısadır, bu yüzden bu doz bir sorun gibi görünmüyor.

Voila, verileri sıkıştırmanın etkili (rube-Goldbergian ise) yolu.

Diyelim ki:

• Sıkıştırmak istediğim dizi sonlu ve önceden bilinmektedir.
• Nakit veya süre konusunda kısa değilim (Sadece her ikisinin sonlu bir miktarı gerekli olduğu sürece)

Bilmek isterdim:

• Planın arkasındaki gerekçede temel bir kusur var mı?
• Bu tür düşünce deneylerini analiz etmenin standart yolu nedir?

özet

İyi cevapların sadece cevabı açıkça ortaya koymadığı, gerçekte ne sorduğumun net olduğu durumdur. Herkesin sabrı ve ayrıntılı cevapları için teşekkür ederiz.

İşte benim cevapları bir özeti benim inci girişimi:

• PRNG / tohum açısı hiçbir şeye katkıda bulunmaz, istenen diziyi çıktı olarak üreten bir programdan başka bir şey değildir.
• Güvercin deliği prensibi: <> k uzunluktaki (mesaj üreten) programlardan daha fazla> k uzunluk mesajı vardır. Dolayısıyla bazı diziler mesajdan daha kısa bir programın çıktısı olamaz.
• Programın tercümanının (mesajının) önceden kesin olarak belirlendiğinden söz etmek gerekir. Ve tasarımı, k uzunluğunda bir mesaj alındığında üretilebilecek (küçük) mesaj alt kümesini belirler.

Bu noktada orijinal PRNG fikri çoktan öldü, ancak çözüme kavuşturması gereken en az bir son soru var:

• S: Şanslı olabilir ve uzun (ama sonlu) mesajımın <k bit uzunluğunda bir programın çıktısı olduğunu görebilir miyim?

Açıkçası, olası her mesajın (programın) anlamı önceden bilinmesi gerektiğinden, bu bir şans meselesi değildir. Ya olduğunu <k bitlik bazı mesajın anlamı ya da yoktur .

Eğer> = k bit rasgele bir mesaj seçersem rastgele (neden ben?)? Her durumda, onu k bitten daha az kullanarak gönderememe konusunda kaybedilme ihtimalim ve neredeyse gönderemememe konusunda kesin bir kesinliğe sahip olurdum. K bitlerinden daha az kullanarak.

OTOH, k bitlerinden daha düşük bir programın çıktısı olanlardan (= böyle bir mesaj olduğu varsayılarak) belirli bir> = k bitlik bir mesaj seçersem, o zaman aslında, aktarılan mesajın bir parçası olarak kabul eden alıcı (tercümanın tasarımı).

En sonunda:

• S: Bütün bu entropi / kolmogorov karmaşıklığı işi nedir?

Sonuçta, her ikisi de bize (daha basit) güvercin deliği ilkesiyle aynı şeyi anlatıyor: bize ne kadar sıkıştırabileceğimizi anlatıyor: belki de hiç değil, belki biraz, ama kesinlikle istediğimiz kadar değil (hile yapmazsak).

Yeni, harika bir sıkıştırma planın var, ha? Tamam o zaman...

♫ Hepimiz oynayalım, entropi oyunu ♫

$n$$n$

$01000111001$$k$$n$$n$$2^n$$0$$1$$2^n$$k$$k$$2^n$$2^n$$\log{2^n} = n$

Hata! Sıkıştırma planınız, ne sıkıştığınız sürece mesajlara ihtiyaç duyar!

$0$$1$

$1$$0$$10$$n$

$n$$\log{n}$$0$$\log{n}$

$\log{n}$$1$

$2^n$$2^n$$n$

$2^n$

$a=0000000011010$$b=111111110101000$$a\rightarrow 0$$b\rightarrow 1$$n=1$

“Haha!” Diyorsunuz, “basitçe bu aptal mesajların nadir olduğunu belirleyebiliyorum! Nadir olanları büyük ve ortak olanları küçük yapacağım! O zaman ortalama kazanırım!”

$n$$i$$p_i$$H = \sum_{i=1}^np_i\log(1/p_i)$$a=000111010101$$a\rightarrow0$$x\rightarrow1x$$1$$H$$H$

Entropiyi yendiğini iddia eden herhangi bir şey muhtemelen sıkıştırılmış mesajı açıkça almak için yeterli bilgi vermiyordur ya da sadece yanlış. Entropi o kadar güçlü bir kavram ki bazı algoritmaların çalışma zamanını daha düşük (hatta bazen üst sınırlara) bağlayabiliriz, çünkü eğer gerçekten hızlı çalışırlarsa (veya gerçekten yavaşsa), o zaman entropiyi ihlal eden bir şey yapıyor olmalılar. .

$2^N-1$$N$$2^N$$N$

Gerçek hayatta, sıkıştığımız dizi hakkında bir şeyler biliyoruz, ses veya resim. Kayıpsız sıkıştırma durumunda, Shannon'un kaynak kodlama teoremi, optimal sıkıştırma oranının kaynağın entropisine eşit olduğunu gösterir. Kayıp kodlama için bilgi teorisinde başka teoremler de var (oran-bozulma teorisi). Bu durumda bile, verileri ne kadar sıkıştırabileceğinizin bir sınırı vardır.

$s$$k$$2^k$$n$$2^n$$n$$s$

(Başka bir cevabın işaret ettiği gibi, bu, seçtiğiniz herhangi bir sıkıştırma işlevi için geçerli olacaktır.)

Diğer cevaplanmış noktaların yanı sıra, sadece bu linki eklemek istiyorum: https://www.schneier.com:443/blog/archives/2009/09/the_doghouse_cr.html

Şimdi, güneşimizin yıllık enerji çıkışı yaklaşık 1.21 × 10 ^ 41 erg'dir. Bu, ideal bilgisayarımızdaki yaklaşık 2.7 × 10 ^ 56 tek bitlik değişikliklere güç sağlamak için yeterlidir; 187 bitlik bir sayacı tüm değerleri boyunca koymak için yeterli durum değişikliği. Güneşin etrafına bir Dyson küresi kurduğumuzda ve tüm enerjisini 32 yıl boyunca hiçbir kayıp olmadan yakalarsak, bir bilgisayarı 2 ^ 192'e kadar sayabiliriz. Tabii ki, bu sayaçla faydalı hesaplamalar yapmak için enerjinin geri kalanı olmazdı.

Bu nedenle, yalnızca istediğiniz yinelemenin geçerli bir 187bit takımyıldızını bulması için yinelemek (karşılaştırmak yok ...), ideal şartlar altında güneşin bir yıl boyunca yaydığından daha fazla enerji alacaktır.

Evrensel bir kompresörün var olamayacağına dair çok hızlı bir kanıt. Bir tane yaptığınızı ve bir girişi sıkıştırdığınızı varsayalım. Şimdi, programınızın çıktısını yinelemeli olarak sıkıştırın. Her zaman boyutu küçültebilirseniz, her adımda, 1 bit'e kadar küçülecek ve küçülecektir.

Belki de, algoritmanızın çıktısının, daha fazla sıkıştırılamayacak bir yapıya sahip olduğunu iddia edebilirsiniz, ancak daha sonra, yeniden sıkıştırma işleminden önce sadece deterministik bir karışıklık uygulayabilirsiniz *.

Dipnot: Bazı deterministik karışıklıklar aslında bazı sıkıştırma programlarında yardımcı olur: http://pytables.github.io/usersguide/optimization.html?highlight=shuffling#shufflingoptim

"Sıkıştırma" için bir PRNG kullanımı bir durumda temel olarak kullanışlıdır: "rastgele" bir demet veri kullanılması gerektiğinde ve hangi verilerin kullanıldığını kompakt bir şekilde kaydetme gerektiğinde. Çoğu sahte rastgele üretici, olası dizilerin sadece küçük bir kısmını oluşturabilir, ancak yalnızca küçük ila orta dereceli bir "rastgele" dizi gerekiyorsa, bir PRNG'nin üretebileceği olası dizilerin kesimi çoğu zaman yeterli olandan daha fazla olacaktır.

Bir kişinin saklamak istediği veri dizisi, doğru bir tohum verilen belirli bir PRNG'nin ürettiği ile eşleşecek şekilde tesadüfen gerçekleşirse, tohumun depolanması verilerin depolanmasına kompakt bir alternatif olabilir. Veri kaynağı bu tür eşleşmelerin gerçekleşmesi muhtemel olmadığı sürece, ancak, onları aramanın faydası olmayacak kadar nadir olacaktır.

Nedeniyle, sıkıştırmaya neden olamayan bazı dizgilerin olduğunu belirten cevapların kosfonisine eklemeyi düşünecek bir şey, tanım gereği, dekompresyonun enjekte edici doğası ve sıkıştırılmış dizelerin sınırlı bir evrenidir; çoğu dize sıkıştırılamaz çünkü daha düşük entropi ve yapılandırılmış olanlardan çok daha yüksek entropi, düzensiz dizgiler vardır, bu nedenle pratikte gördüğümüz koşullara yol açar: sıkıştırma çoğu zaman yararlıdır; en sık sık sıkılaştırma isteği, en çok bazı düzen ve yapı alikotuna sahip olanlardır ve bu dint tarafından, alt entropi nesnelerinin çok daha küçük evreninin bir parçasıdır. Bu, uygun bir çıkış uzunluğu seçerek, mümkün olduğu anlamına gelir daha küçük, yapısal evrendeki her şeyi sıkıştırabiliriz. Burada yapılandırılmış, entropi ve sipariş edilen terim, anlambilimin öznel tanımlarını ve sıkıştırmak isteyebileceğimiz mesajların kullanışlılığını yansıtmak için bilerek kesin değildir.

Ve soru sorucunun isteğine doğrudan cevap verirken: * evet, elbette sadece şanslı olabilirsiniz ve PRNG'nizin çıktısını bulmak istediğiniz tam mesajdır, bu sadece sizin sık sık bu durumda olmadığını görmenizdir. Bir PRNG'yi karakterize eden özellik, yani (neredeyse) bitmeyen bir dizi farklı dizge üretme kabiliyeti, eşzamanlı olarak kendinizinkileri üretme ihtimalinizi düşürür.

Tabii ki, bu olasılıksızlığı, kelimenin tam anlamıyla kelime geçişleri için bir "etki alanı grafiği" üzerinde gezinmek için bir PRNG kullanarak hafifletebilir ve mesajınızın görünme olasılığını büyük ölçüde artırabilir ve ayrıca artık etki alanı grafiğini sıkıştırılmış iletiye eklemeniz gerektiğini de görebilirsiniz. uzunluğu.