Bir grup dosyayı birlikte tarring, gzip, bzip2, xz gibi standart araçlarla sıkıştırmayı iyileştirebilir mi?
Uzun zamandır bunun böyle olduğunu düşündüm ama asla test etmedim. Aynı 20Mb'lık rastgele bayt dosyasının birlikte kopyalanmış 2 kopyasına sahipsek, bunun gerçekleşen akıllı bir sıkıştırma programı tüm tarball'ı neredeyse 20Mb'ye kadar sıkıştırabilir.
Bu denemeyi gzip, bzip2 ve xz kullanarak 1) rastgele bayt dosyası, 2) o dosyanın iki kopyasından oluşan bir tarball ve 3) o dosyanın iki kopyasından oluşan bir kedi sıkıştırmak için denedim. Her durumda, sıkıştırma dosya boyutunu azaltmadı. Bu durum durum 1 için beklenmektedir, ancak durum 2 ve 3 için en iyi sonuç 40 MB'lık bir dosyanın yaklaşık 20 MB'a küçültülebilmesidir. Bir sıkıştırma programının görmesi zor, özellikle fazlalık uzak olduğu için mükemmel bir sonuç beklemiyordum ama yine de biraz sıkıştırma olacağını düşündüm.
Ölçek:
dd if=/dev/urandom of=random1.txt bs=1M count=20
cp random1.txt random2.txt
cat random1.txt random2.txt > random_cat.txt
tar -cf randoms.tar random1.txt random2.txt
gzip -k random* &
bzip2 -k random* &
xz -k random* &
wait
du -sh random*
Sonuç:
20+0 records in
20+0 records out
20971520 bytes (21 MB) copied, 1.40937 s, 14.9 MB/s
[1] Done gzip -k random*
[2]- Done bzip2 -k random*
[3]+ Done xz -k random*
20M random1.txt
21M random1.txt.bz2
21M random1.txt.gz
21M random1.txt.xz
20M random2.txt
21M random2.txt.bz2
21M random2.txt.gz
21M random2.txt.xz
40M random_cat.txt
41M random_cat.txt.bz2
41M random_cat.txt.gz
41M random_cat.txt.xz
41M randoms.tar
41M randoms.tar.bz2
41M randoms.tar.gz
41M randoms.tar.xz
Genel olarak beklediğim bu mu?
Burada sıkıştırmayı iyileştirmenin bir yolu var mı?