«information-theory» etiketlenmiş sorular

Tüm Mors kodu dizeleri benzersiz bir şekilde deşifre edilebilir mi? Boşluklar olmadan, ......-...-..---.-----.-..-..-.. olabilir Hello Worldama belki de ilk harf bir 5- aslında pek olası görünmeyen bir nokta ve çizgi dizisinin benzersiz bir çevirisi olmalıdır. Biri muhtemelen Kraft eşitsizliğini kullanabilir ancak bu sadece önek kodları için geçerlidir . Morse kodu …

54 information-theory  coding-theory 

Bu fikir, programlamayı öğrenen bir çocuk olarak ve ilk olarak PRNG'lerle karşılaştığımda ortaya çıktı. Ne kadar gerçekçi olduğunu hala bilmiyorum, ama şimdi yığın değişimi var. İşte şaşırtıcı bir sıkıştırma algoritması için 14 yaşında bir şema: Bir PRNG alın ve suzun bir sahte rastgele bayt dizisi elde etmek için tohumla birlikte …

38 information-theory  randomness  data-compression  pseudo-random-generators  entropy 

Wikipedia'ya göre : Shannon'un entropisi, bir mesajda yer alan bilgileri, mesajın belirlenen (veya tahmin edilebilir) kısmının aksine ölçmektedir. İkincisinin örnekleri, dil yapısındaki fazlalığı veya harf veya kelime çiftlerinin, üçüzlerin ve benzerlerinin oluşum sıklıklarına ilişkin istatistiksel özellikleri içerir. Bu yüzden entropi bir mesajda yer alan bilgi miktarının bir ölçüsüdür. Entropi kodlayıcıları, …

35 information-theory  data-compression  entropy 

Aşağıdaki ayrık dağılımı simüle etmem gerektiğini söyle: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} En belirgin yol rasgele bit çizmek ve hepsinin (veya ) 'e eşit olup olmadığını kontrol etmektir . …

31 algorithms  information-theory  randomness  pseudo-random-generators  entropy 

- 2 n - 1 arası sıralı ikili sayıları içeren bir dosyam var :0002n−12n−12^n - 1 0000000000 0000000001 0000000010 0000000011 0000000100 ... 1111111111 Şekil 7z bu dosyayı çok verimli bir şekilde sıkıştırmamıştır (n = 20 için, 22 MB, 300 kB'ye sıkıştırılmıştır). Çok basit veri yapısını tanıyan ve dosyayı birkaç bayta …

27 information-theory  data-compression 

Kitabı okuyorum: " Kod: Bilgisayar Donanımı ve Yazılımının Gizli Dili " ve 2. Bölümün yazarı: Mors kodunun ikili olduğu söylenir (kelimenin tam anlamıyla ikie iki anlamına gelir), çünkü kodun bileşenleri yalnızca iki şeyden oluşur - bir nokta ve bir çizgi. Öte yandan Vikipedi diyor ki: Kesin konuşmak gerekirse, beş temel …

27 information-theory  coding-theory  encoding-scheme 

Geçenlerde aşağıdaki ilginç yazı tökezledi rastgele veri setlerini, verilerin türüne ve biçimine bakılmaksızın her zaman% 50'den daha verimli bir şekilde sıkıştırdığını iddia . Temel olarak, asal sayıları, her sayının kendine has bir asal ürün olduğu düşünüldüğünde, kolayca çözülmesi kolay olan 4-bayt veri topaklarının bir gösterimini oluşturmak için kullanır. Bu dizileri …

22 information-theory  data-compression  primes 

Sıralı bir çifti (x, y) sıralanmamış bir çiftle (x, y} (set) karşılaştırırsak, teorik olarak, x'in önce gelip gelmediği ya da y'nin temsil etmesi için tek bir bit gerektirdiği gibi, fark sadece bir bittir. Eğer x, y iki farklı 32-bit tamsayı olan bir küme {x, y} verilirse, bunları 63 bite (daha …

20 information-theory  data-compression 

mesajını bir kerelik pad k ile şifrelemek için E n c ( m 1 , k ) = m 1 ⊕ k yaparsınız .m1m1m_1kkkEn c ( m1, k ) = m1⊕ kEnc(m1,k)=m1⊕kEnc(m_1,k) = m_1 \oplus k Aynı kullanın Başka bir mesaj şifrelemek m 2 olsun e n C ( m, …

20 cryptography  information-theory  encryption 

farklı öğeden oluşan bir diziniz var . Bir karşılaştırıcıya (a ve iki öğeyi ve gerçek iff döndüren bir kara kutu işlevi ) ve gerçekten rastgele bir bit kaynağına (bağımsız değişkene eşit olarak rastgele bir bit döndüren bir kara kutu işlevi) erişebilirsiniz . Aşağıdaki iki görevi göz önünde bulundurun:nnnaaabbba&lt;ba&lt;ba < b …

18 algorithms  algorithm-analysis  information-theory  permutations  entropy 

Veri sıkıştırma algoritmaları ve veri sıkıştırma için teorik sınır hakkında okuyordum. Son zamanlarda "Kombinatoryal Entropi Kodlaması" adlı bir sıkıştırma yöntemiyle karşılaştım, bu yöntemin ana fikri, dosyayı dosyada sunulan karakterler, frekansları ve dosya tarafından temsil edilen bu karakter permütasyonunun dizini olarak kodlamaktır. Bu belgeler bu yöntemin açıklanmasına yardımcı olabilir: https://arxiv.org/pdf/1703.08127 http://www-video.eecs.berkeley.edu/papers/vdai/dcc2003.pdf …

17 information-theory  data-compression 

Wikipedia'ya göre : Gayri resmi olarak, algoritmik bilgi teorisi açısından, bir ipin bilgi içeriği, o ipin mümkün olan en kısa bağımsız temsilinin uzunluğuna eşittir. "Yararlı bilgiler" in benzer gayrı resmi titiz tanımı nedir? "Yararlı bilgi" neden daha doğal veya daha temel bir kavram olarak kabul edilmemektedir; safça tamamen rastgele bir …

16 information-theory  terminology  kolmogorov-complexity 

Herhangi bir keyfi 9x9 ızgarasının belirtilmesi, her karenin konumunu ve değerini vermeyi gerektirir. Bunun için naif bir kodlama 81 (x, y, değer) üçlüsü verebilir ve her bir x, y ve 4 için bit olmak üzere toplam 81x4x3 = 972 bit değer gerektirir (1-9 = 9 değer = 4 bit). Her …

16 combinatorics  modelling  information-theory  sudoku 

bir dizi değer verildiğinde , log base Shannon Entropy gelir . Anladığım kadarıyla, taban Shannon Entropy yuvarlanmış, değerlerden tek bir tanesini temsil etmek için ikili sayıdaki minimum bit sayısıdır.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Bu wikipedia sayfasındaki girişten alınmıştır: https://en.wikipedia.org/wiki/Entropy_%28information_theory%29 Peki, üç değer bir bit ile nasıl temsil edilebilir? olabilir , olabilir ; ama nasıl …

14 information-theory  mathematical-foundations  entropy  binary 

Şu anda ikili veri oluşturmak için bazı kod yazıyorum. Özellikle belirli bir sayıda set bit ile 64-bit sayılar oluşturmak gerekir; daha kesin olarak, prosedür almalı ve tam olarak bit olarak ve geri kalanı 0 olarak ayarlanmış bir sahte rasgele 64 bit sayı döndürmelidir .n 10&lt;n&lt;640&lt;n&lt;640 < n < 64nnn111 Mevcut …

12 algorithms  information-theory  coding-theory  pseudo-random-generators