Az önce sıkıştırılmış olup olmadığımı görmek için kopya dosyaları olan bir tar arşivi oluşturduğum küçük bir deney yaptım. Detaylar takip edilir (okuma zevkine yönelik sonuçlar):

$ dd if=/dev/urandom bs=1M count=1 of=a
  1+0 records in
  1+0 records out
  1048576 bytes (1.0 MB) copied, 0.114354 s, 9.2 MB/s
$ cp a b
$ ln a c
$ ll
  total 3072
  -rw-r--r-- 2 guido guido 1048576 Sep 24 15:51 a
  -rw-r--r-- 1 guido guido 1048576 Sep 24 15:51 b
  -rw-r--r-- 2 guido guido 1048576 Sep 24 15:51 c
$ tar -c * -f test.tar
$ ls -l test.tar 
  -rw-r--r-- 1 guido guido 2109440 Sep 24 15:51 test.tar
$ gzip test.tar 
$ ls -l test.tar.gz 
  -rw-r--r-- 1 guido guido 2097921 Sep 24 15:51 test.tar.gz
$ 

İlk önce rastgele verilerin 1MiB dosyasını oluşturdum (a). Sonra onu bir dosya b'ye kopyaladım ve c'ye de bağladım. Tarball oluştururken, tar görünüşte hardlink'in farkındaydı, çünkü tarball sadece ~ 2MiB idi ve ~ 3Mib değildi.

Şimdi, gzip'in a ve b kopyaları olduğu için tarball boyutunu ~ 1MiB'ye düşürmesini bekliyordum ve tarball içinde tekrarlanan 1MiB sürekli veri olması gerekiyordu, ancak bu gerçekleşmedi.

Bu neden? Ve bu durumlarda tarball'ı nasıl etkili bir şekilde sıkıştırabilirim?

Gzip gzip, LZ77 ve Huffman kodlamasının bir kombinasyonu olan DEFLATE algoritmasına dayanır. Giriş akışını anında oluşturulmuş bir sözlük kullanarak sıkıştırılmış sembollere dönüştürerek ve kopyaları izleyerek çalışan kayıpsız bir veri sıkıştırma algoritmasıdır. Ancak 32K'dan fazla ayrılmış kopyaları bulamıyor. 1 MB'lik kopyaları birbirinden ayırmasını beklemek gerçekçi değil.

Nicole Hamilton doğru notlargzip nedeniyle küçük sözlük boyutuna uzak tekrarlanan verileri bulamazlar.

bzip2 benzer, çünkü 900 KB bellek ile sınırlıdır.

Bunun yerine, deneyin:

LZMA / LZMA2 algoritması ( xz, 7z)

LZMA algoritması Deflate ile aynı ailededir, ancak çok daha büyük bir sözlük boyutu kullanır (özelleştirilebilir; varsayılan 384 MB gibi bir şeydir). xzEn son Linux dağıtımları üzerinde varsayılan olarak yüklü olmalıdır yarar, benzer gzipve LZMA kullanır.

LZMA daha uzun menzilli fazlalık tespit ettiğinden, verilerinizi burada tekilleştirebilir. Ancak, Gzip'ten daha yavaştır.

Diğer bir seçenek ise 7z, p7zipvarsayılan olarak LZMA kullanan (LZMA yazarı tarafından yazılmış) bir arşivleyici (tek akışlı kompresör yerine) olan 7-zip'dir ( pakette). 7-zip arşivleyici, kendi formatını arşivlerken dosya düzeyinde (aynı uzantıdaki dosyalara bakarak) kendi veri tekilleştirmesini çalıştırır .7z. Değiştirmeye çekinmiyorsanız Bu araç olduğu tarile 7z, sen tekilleştirilmez aynı dosyaları olsun. Bununla birlikte, 7z nanosaniye zaman damgalarını, izinleri veya xattr'leri korumaz, bu nedenle ihtiyaçlarınızı karşılamayabilir.

lrzip

lrzipGzip / Deflate, bzip2, lzop veya LZMA gibi geleneksel bir algoritmaya vermeden önce uzun mesafeli artıklığı gidermek için verileri önceden işleyen bir kompresördür. Burada verdiğiniz örnek veriler için gerekli değildir; Giriş verilerinin belleğe sığabilecek olandan daha büyük olması durumunda kullanışlıdır.

Bu tür veriler için (kopyalanamayan sıkıştırılamaz parçalar), lzopsıkıştırmayı (çok hızlı) kullanmanız gerekir lrzip, çünkü veri tekilleştirildikten sonra tamamen rastgele verileri sıkıştırmak için daha fazla çaba göstermenin bir faydası yoktur.

Bup ve Obnam

Soru yedeğini etiketlediğinizden, buradaki amacınız verileri yedeklemekse, Bup veya Obnam gibi bir veri tekilleştirme programı kullanmayı düşünün .

Yedekleme durumunda, muhtemelen büyük miktarda küçük dosya kümesiyle, sizin için işe yarayabilecek bir püf noktası, tar içindeki dosyaları uzantısına göre sıralamaktır:

find archive_dir -type f | rev | sort | rev | tar czf my_archive.tar.gz -I -

gzipÇiftleri bulamaz, xzbüyük sözlük boyutunda bile olmaz. Yapabilecekleriniz kullanmaktır mksquashfs- bu aslında kopya alanını koruyacaktır.

İkisi aynı olan üç rastgele ikili dosya (64MB) ile xzve bazı hızlı test sonuçları mksquashfs:

Kurmak:

mkdir test
cd test
dd if=/dev/urandom of=test1.bin count=64k bs=1k
dd if=/dev/urandom of=test2.bin count=64k bs=1k
cp test{2,3}.bin
cd ..

Squashfs:

mksquashfs test/ test.squash
> test.squash - 129M

xz:

XZ_OPT='-v --memlimit-compress=6G --memlimit-decompress=512M --lzma2=preset=9e,dict=512M --extreme -T4 ' tar -cJvf test.tar.xz test/
> test.tar.xz - 193M

Benim sistem üzerinde lzma test.tarbir 106'3175 bayt (1.1M) test.tar.lzma dosyasında sonuçları

Mekanik salyangozun cevabına ek olarak:

Sıkıştırılmamış tek dosyanın dosya boyutu (veya daha doğrusu kopyalar arasındaki mesafe) sözlük boyutunu aşıyorsa, xz (veya lzma) bile kopyaları bulamaz. xz (veya lzma) en yüksek ayarda bile -9esadece bunun için 64 MB ayırıyor .

Neyse ki seçeneği ile kendi diktoner bedeninizi belirleyebilirsiniz --lzma2=dict=256MB (sadece --lzma1=dict=256MBlzma diğer adını komuta kullanırken izin verilir)

Ne yazık ki, yukarıdaki örnekte olduğu gibi özel sıkıştırma zincirleriyle ayarları geçersiz kıldığınızda, diğer tüm parametrelerin varsayılan değerleri -9e ile aynı seviyeye ayarlanmaz. Bu nedenle, sıkıştırma yoğunluğu tek dosyalar için yüksek değildir.

komut satırı anahtarı olmayan gzip, sıkıştırma için olası en düşük algoritmayı kullanır.

Kullanmayı deneyin:

gzip -9 test.tar

Daha iyi sonuçlar almalısın