«data-compression» etiketlenmiş sorular

Uzun zaman önce, bir tür profesörün gelecekte sadece iki bite (veya bunun gibi bir şey) verilerini sıkıştırabileceğimizi söylediği bir gazete makalesini okudum. Bu elbette doğru değil (ve tam olarak ne söylediğine dair hafızamın doğru olmadığı olabilir). Anlaşılır bir şekilde 0 ve 1 'lerden oluşan herhangi bir diziyi sadece iki bite …

38 data-compression 

Bu fikir, programlamayı öğrenen bir çocuk olarak ve ilk olarak PRNG'lerle karşılaştığımda ortaya çıktı. Ne kadar gerçekçi olduğunu hala bilmiyorum, ama şimdi yığın değişimi var. İşte şaşırtıcı bir sıkıştırma algoritması için 14 yaşında bir şema: Bir PRNG alın ve suzun bir sahte rastgele bayt dizisi elde etmek için tohumla birlikte …

38 information-theory  randomness  data-compression  pseudo-random-generators  entropy 

Wikipedia'ya göre : Shannon'un entropisi, bir mesajda yer alan bilgileri, mesajın belirlenen (veya tahmin edilebilir) kısmının aksine ölçmektedir. İkincisinin örnekleri, dil yapısındaki fazlalığı veya harf veya kelime çiftlerinin, üçüzlerin ve benzerlerinin oluşum sıklıklarına ilişkin istatistiksel özellikleri içerir. Bu yüzden entropi bir mesajda yer alan bilgi miktarının bir ölçüsüdür. Entropi kodlayıcıları, …

35 information-theory  data-compression  entropy 

boyutundaki tüm yönlendirilmemiş grafikleri numaralandırmak istiyorum nnn, ancak her izomorfizm sınıfının yalnızca bir örneğine ihtiyacım var . Başka bir deyişle, izomorfik olmayan (yönlendirilmemiş) tüm grafikleri nnn köşelerinde sıralamak istiyorum. Bunu nasıl yapabilirim? Daha kesin bir ifadeyle, bir yönsüz grafikler bir dizi üretecektir bir algoritma isteyen , aşağıdaki özelliği ile: Her …

30 algorithms  graphs  data-compression  graph-isomorphism 

- 2 n - 1 arası sıralı ikili sayıları içeren bir dosyam var :0002n−12n−12^n - 1 0000000000 0000000001 0000000010 0000000011 0000000100 ... 1111111111 Şekil 7z bu dosyayı çok verimli bir şekilde sıkıştırmamıştır (n = 20 için, 22 MB, 300 kB'ye sıkıştırılmıştır). Çok basit veri yapısını tanıyan ve dosyayı birkaç bayta …

27 information-theory  data-compression 

Bazı adamlar şöyle dedi: Deterministik yöntemlerle rasgele sayılar üretmeye çalışan herkes, elbette bir günah durumunda yaşamaktadır. Bu her zaman yalnızca bir bilgisayarla gerçek rasgele sayılar üretemeyeceğiniz anlamına gelir. Bilgisayarların tek bir Intel 8080 mikroişlemcinin (~ 6000 vana) eşdeğer büyüklüğünde olduğunu söyledi. Bilgisayarlar daha karmaşık hale geldi ve von Von Neumann'ın …

25 randomness  data-compression  entropy  random-number-generator 

Geçenlerde aşağıdaki ilginç yazı tökezledi rastgele veri setlerini, verilerin türüne ve biçimine bakılmaksızın her zaman% 50'den daha verimli bir şekilde sıkıştırdığını iddia . Temel olarak, asal sayıları, her sayının kendine has bir asal ürün olduğu düşünüldüğünde, kolayca çözülmesi kolay olan 4-bayt veri topaklarının bir gösterimini oluşturmak için kullanır. Bu dizileri …

22 information-theory  data-compression  primes 

Kolmogorov Karmaşıklığı hakkında bir şeyler okudum, Vitanyi ve Li'den bazı makaleler ve kitaplar okudum ve Yazarların stilometrisini doğrulamak için Normalize Sıkıştırma Mesafesi kavramını kullandım (her bir yazarın bazı metinleri ve grup belgelerini benzerliklerine göre nasıl yazdığını belirleyin). Bu durumda, veri kompresörleri bir Kolingogo makinesi olarak kullanılabileceğinden, Kolmogorov karmaşıklığını yaklaşık olarak …

22 computability  approximation  data-compression  kolmogorov-complexity 

Az önce şu şeyle karşılaştım: Bir png görüntüsünün birden çok özdeş kopyasını bir klasöre koydum ve sonra bu klasörü aşağıdaki yöntemlerle sıkıştırmaya çalıştım: tar czf folder.tar.gz folder/ tar cf folder.tar folder/ && xz --stdout folder.tar > folder.tar.xz (bu özdeş görüntüler için iyi çalışır, ancak benzer görüntüler için kazanç sıfırdır) zip …

21 data-compression 

Bir kişinin rastgele bir IDN ana bilgisayar adının ( RFC5890 tarafından tanımlandığı gibi ) etki alanını nasıl çok sıkı bir şekilde sıkıştırabileceğini ve bunun ilginç bir meydan okuma olabileceğinden şüpheleniyorum. Bir Unicode ana bilgisayar veya etki alanı adı (U-etiketi), genellikle üst düzey etki alanına (ör. Altındaki Yunanca harfler ) bağlı …

21 algorithms  strings  natural-language-processing  data-compression 

Sıralı bir çifti (x, y) sıralanmamış bir çiftle (x, y} (set) karşılaştırırsak, teorik olarak, x'in önce gelip gelmediği ya da y'nin temsil etmesi için tek bir bit gerektirdiği gibi, fark sadece bir bittir. Eğer x, y iki farklı 32-bit tamsayı olan bir küme {x, y} verilirse, bunları 63 bite (daha …

20 information-theory  data-compression 

Simüle edilmiş bir kart oyunu için kullandığım gerçek verilerim var. Ben sadece kartların saflarıyla ilgileniyorum, takım elbise ile değil. Ancak standart kart destesidir, bu yüzden destede her bir rütbeden sadece vardır . Güverte her el için iyi karıştırılır ve sonra tüm güverteyi bir dosyaya gönderirim. Dolayısıyla , çıktı dosyasında olan …

19 data-compression 

Veri sıkıştırma algoritmaları ve veri sıkıştırma için teorik sınır hakkında okuyordum. Son zamanlarda "Kombinatoryal Entropi Kodlaması" adlı bir sıkıştırma yöntemiyle karşılaştım, bu yöntemin ana fikri, dosyayı dosyada sunulan karakterler, frekansları ve dosya tarafından temsil edilen bu karakter permütasyonunun dizini olarak kodlamaktır. Bu belgeler bu yöntemin açıklanmasına yardımcı olabilir: https://arxiv.org/pdf/1703.08127 http://www-video.eecs.berkeley.edu/papers/vdai/dcc2003.pdf …

17 information-theory  data-compression 

library(ggplot2) compress <- function(str) { length(memCompress(paste(rep("a", str), collapse=""), type="bzip2")) / nchar(paste(rep("a", str), collapse="")) } cr <- data.frame(i = 1:10000, r = sapply(1:10000, compress)) ggplot(cr[cr$i>=5000 & cr$i<=10000,], aes(x=i, y=r)) + geom_line() Sıkıştırma oranı "a" için 37'de başlar ve 39 "a" s'de başabaşa vurur (sıkıştırma oranı = 1). Grafik oldukça pürüzsüz başlar …

15 data-compression 

Huffman Kodlaması, Aritmetik Kodlama ve Aralık Kodlaması arasındaki ilişkileri anlamaya çalışırken, Huffman kodlamasının eksikliklerinin kesirli bit paketleme sorunuyla ilgili olduğunu düşünmeye başladım . Yani, bir sembol için 240 olası değere sahip olduğunuzu ve bunu bitlere kodlamanız gerektiğini varsayalım, "tam" 8'e ihtiyacınız olmasa bile, sembol başına 8 bit ile sıkışmış olacaksınız, …

12 information-theory  data-compression  coding-theory  entropy  huffman-coding