Ben sadece bir metin dosyasına veri dökerek "aptal" yedekleme yaparken yerden tasarruf çalışıyorum. Yedek komut dosyam günlük olarak yürütülür ve şöyle görünür:

1. Yedekleme tarihinden sonra bir dizin oluşturun.
2. Bazı verileri bir metin dosyasına dökün "$name".
3. Dosya geçerliyse, bunu gziplemek: gzip "$name". Aksi takdirde rm "$name".

Şimdi, aynı veriler önceki gün de mevcutsa (ve symlink veya hardlink oluştur) bir dosyayı kaldırmak için ek bir adım eklemek istiyorum.

İlk başta kullanmayı düşündüm md5sum "$name", ancak bu işe yaramıyor çünkü dosya adını ve oluşturulma tarihini de saklıyorum.

gzipİki sıkıştırılmış dosyayı karşılaştırma ve bana eşit olup olmadıklarını söyleme seçeneği var mı ? Eğer gzipböyle bir seçenek yok, benim hedefe ulaşmak için başka bir yol var mı?

Yorumunda mreithub'ın önerdiği gibi zcmpveya kullanabilirsiniz zdiff(veya benzer Kevin komutunu). Bunlar, her iki dosyayı cmpda açıp daha sonra veya 'a ilettikleri için nispeten verimsiz olacaktır diff. Eğer sadece "aynı mıdırlar" diye cevaplamak istiyorsanız cmp, çok daha hızlı olacaktır.

İle yaklaşımınız md5summükemmel, ancak çalıştırmadan önce MD5'i almanız gerekiyor gzip. Ardından, ortaya çıkan .gzdosyanın yanındaki bir dosyada saklayın . Daha sonra sıkıştırmadan önce dosyayı kolayca karşılaştırabilirsiniz. İsim aynıysa, md5sum -cbunu sizin için yapar.

$ mkdir "backup1"
$ cd backup1
$ echo "test" > backup-file
$ md5sum backup-file > backup-file.md5
$ gzip -9 backup-file

Ve bir sonraki yedekleme:

$ mkdir "backup2"
$ cd backup2
$ echo "test" > backup-file
$ md5sum -c ../backup1/backup-file.md5 
backup-file: OK

Yani değişmedi. OTOH, değişmiş olsaydı:

$ echo "different" > backup-file
$ md5sum -c ../backup1/backup-file.md5 
backup-file: FAILED
md5sum: WARNING: 1 computed checksum did NOT match

Eğer geçerseniz --quiet, size sadece çıkış kodunu verecektir. Eşleşen için 0, farklı için 0 olmayan.

MD5 oldukça hızlı, ama çok da öyle değil. MD4 ( openssl md4komut satırında elde ettiğiniz en iyi şeydir, sanırım) yaklaşık iki kat daha hızlıdır (ne ne de MD5 güvenlidir, ancak ikisi de onları yıkmaya çalışmadığında çarpışmalara karşı dayanıklıdır). SHA-1 ( sha1sum) daha güvenli, ancak daha yavaş; SHA-256 ( sha256sum) güvenlidir, ancak daha da yavaştır. CRC32 çok daha hızlı olmalı, ancak daha kısadır ve bu nedenle daha rastgele çarpışmalara sahip olacaktır. Aynı zamanda tamamen güvensiz.

@ derobert'in cevabı harika, ancak bulduğum bazı bilgileri paylaşmak istiyorum.

gzip -l -v

gzip sıkıştırılmış dosyalar zaten bir karma içerir (ancak güvenli değil, bu SO yazısına bakın ):

$ echo something > foo
$ gzip foo
$ gzip -v -l foo.gz 
method  crc     date  time           compressed        uncompressed  ratio uncompressed_name
defla 18b1f736 Feb  8 22:34                  34                  10 -20.0% foo

Hızlı bir parmak izi elde etmek için CRC ve sıkıştırılmamış boyut birleştirilebilir:

gzip -v -l foo.gz | awk '{print $2, $7}'

cmp

İki baytın eşit olup olmadığını kontrol etmek için kullanın cmp file1 file2. Şimdi, gzip ile sıkıştırılmış bir dosyaya veri ve altbilgi (CRC artı orijinal boyut) eklenmiş bir başlık var. Gzip biçimi tanımı başlık dosyası sıkıştırılmıştır ve dosya ismi 10-bayt başlığından sonra eklenen bir nul-sonlu dizisi olduğu zaman içerdiğini gösterir.

Bu nedenle, dosya adının sabit olduğunu ve aynı command ( gzip "$name") kullanıldığını varsayarsak cmp, zaman dahil ilk baytları kullanarak ve atlayarak iki dosyanın farklı olup olmadığını kontrol edebiliriz :

cmp -i 8 file1 file2

Not : aynı sıkıştırma seçeneklerinin önemli olduğu varsayımı, aksi takdirde komut her zaman dosyayı farklı olarak rapor edecektir. Bunun nedeni, sıkıştırma seçeneklerinin başlıkta depolanması ve sıkıştırılmış verileri etkileyebilmesidir. cmpsadece ham baytlara bakar ve bunu gzip olarak yorumlamaz.

Aynı uzunlukta dosya adlarınız varsa, dosya adını okuduktan sonra atlanacak baytları hesaplamayı deneyebilirsiniz. Dosya adları farklı boyutlarda olduğunda, cmpbaytları atladıktan sonra çalışabilirsiniz cmp <(cut -b9- file1) <(cut -b10- file2).

zcmp

Bu kesinlikle gitmek için en iyi yoldur, önce verileri sıkıştırır ve baytları karşılaştırmaya başlar cmp(gerçekten, zcmp( zdiff) shellscriptinde yapılan budur).

Bir not, kılavuz sayfasında aşağıdaki nottan korkmayın:

Karşılaştırma işleminden önce her iki dosyanın da sıkıştırılması gerektiğinde, ikincisi / tmp ile sıkıştırılmamış olur. Diğer tüm durumlarda, zdiff ve zcmp yalnızca bir boru kullanır.

Yeterince yeni bir Bash'iniz olduğunda, sıkıştırma geçici bir dosya kullanmaz, sadece bir pipo kullanır. Veya, zdiffkaynağın dediği gibi:

# Reject Solaris 8's buggy /bin/bash 2.03.

İki gzip dosyasını karşılaştırmak için, sadece içerik, bir komut, hayır diff, sadece karşılaştırmamd5sum

$ diff -q <(zcat one.gz|md5sum|cut -f1 -d' ') \
          <(zcat two.gz|md5sum|cut -f1 -d' ') \
    && echo same || echo not_same

İlgili farklılıklar için "filtreleyebilirsiniz",

$ diff -q <(zcat one.gz|grep -v '^-- Dump completed'|md5sum|cut -f1 -d' ') \
          <(zcat two.gz|grep -v '^-- Dump completed'|md5sum|cut -f1 -d' ') \
   && echo same || echo not_same

Komut dosyası oluşturuyorsa, bir filtre işlevi öneririm (test edilmedi, sadece bir örnek),

do_filter_sum() {
  zcat $1 | grep -v '^-- Dump completed' | md5sum | cut -f1 -d' '
}

diff -q <(do_filter_sum one.gz) \
        <(do_filter_sum two.gz) \
        && echo same || echo not_same