Dosya parçalarını karma ile nasıl karşılaştırırım?

Bir dosya başarıyla yüklendi ve aynı dosya olduğundan şüphelendiğim başka bir başarısız indirme (sadece büyük bir dosyanın ilk 100 MB) var.

Bunu doğrulamak için, karmaları kontrol etmek istiyorum, ancak başarısız bir şekilde indirilen dosyanın sadece bir kısmına sahip olduğum için, sadece ilk birkaç megabayt hash etmek istiyorum.

Bunu nasıl yaparım?

İşletim sistemi pencereler olurdu, ancak cygwin ve MinGW yüklü.

Dosyaları karşılaştırmak için karmaları oluşturmak, bir dosyayı birçok dosyayla karşılaştırdığınızda veya birçok dosyayı birbiriyle karşılaştırdığınızda mantıklıdır.

İki dosyayı yalnızca bir kez karşılaştırmak mantıklı değildir: Karmaları hesaplama çabası, en azından dosyaların üzerinde yürümek ve doğrudan karşılaştırmak kadar yüksektir.

Verimli bir dosya karşılaştırma aracı cmp:

cmp --bytes $((100 * 1024 * 1024)) file1 file2 && echo "File fragments are identical"

Ayrıca dd, iki dosyanın rastgele bölümlerini (başlangıçtan itibaren olması gerekmez) karşılaştırmak için birleştirebilirsiniz , örneğin:

cmp \
    <(dd if=file1 bs=100M count=1 skip=1 2>/dev/null) \
    <(dd if=file2 bs=100M count=1 skip=1 2>/dev/null) \
&& echo "File fragments are identical"

Üzgünüm, bunu tam olarak deneyemiyorum, ama bu şekilde çalışacak

dd if=yourfile.zip of=first100mb1.dat bs=100M count=1
dd if=yourotherfile.zip of=first100mb2.dat bs=100M count=1

Bu size her iki dosyanın ilk 100 Megabaytını verecektir.

Şimdi karmaları alın:

sha256sum first100mb1.dat && sha256sum first100mb2.dat 

Ayrıca doğrudan çalıştırabilirsiniz:

dd if=yourfile.zip bs=100M count=1 | sha256sum 
dd if=yourotherfile.zip bs=100M count=1 | sha256sum 

Herkes bununla Unix / Linux yoluna gidiyor gibi görünüyor, ancak sadece 2 dosyayı karşılaştırmak Windows standart komutlarıyla kolayca yapılabilir:
FC /B file file2

FC şimdiye kadar yapılmış her Windows NT sürümünde mevcuttur. Ve (doğru hatırlıyorsam) DOS da mevcuttu.
Biraz yavaş, ama bir kerelik kullanım için önemli değil.

Sadece doğrudan bir ikili / hex diff programı ile dosyaları karşılaştırabilirsiniz vbindiff. Linux ve Windows'da 4 GB'a kadar olan dosyaları hızla karşılaştırır.

Sadece kırmızı renkte vurgulanan farkla (1B vs 1C) böyle bir şey görünüyor:

one                                       
0000 0000: 30 5C 72 A7 1B 6D FB FC  08 00 00 00 00 00 00 00  0\r..m.. ........  
0000 0010: 00 00 00 00                                       ....
0000 0020:
0000 0030:
0000 0040:
0000 0050:
0000 0060:
0000 0070:
0000 0080: 
0000 0090: 
0000 00A0: 

two        
0000 0000: 30 5C 72 A7 1C 6D FB FC  08 00 00 00 00 00 00 00  0\r..m.. ........  
0000 0010: 00 00 00 00                                       ....               
0000 0020: 
0000 0030:
0000 0040:
0000 0050:
0000 0060:
0000 0070:
0000 0080:
0000 0090:                                
0000 00A0:             
┌──────────────────────────────────────────────────────────────────────────────┐
│Arrow keys move  F find      RET next difference  ESC quit  T move top        │
│C ASCII/EBCDIC   E edit file   G goto position      Q quit  B move bottom     │
└──────────────────────────────────────────────────────────────────────────────┘ 

Bash için yazdığını biliyorum, ama OP ayrıca Windows'a sahip olduklarını da belirtiyor. Windows çözümü isteyen / gerektiren herkes için, iki dosyayı karşılaştırabilen bir Hex Editor olan HxD adlı bir program var. Dosyalar farklı boyutlarda ise, mevcut parçaların aynı olup olmadığını söyleyecektir. Ve gerekirse, şu anda seçili olanlar için sağlama toplamları çalıştırabilir. Ücretsizdir ve HxD web sitesinden indirilebilir . Yazarlarla hiçbir bağlantım yok, sadece yıllardır kullanıyorum.

cmp, iki dosya daha küçük dosyanın uzunluğuna eşit olduğunda size bildirir:

$ dd if=/dev/random bs=8192 count=8192 > a
8192+0 records in
8192+0 records out
67108864 bytes transferred in 0.514571 secs (130417197 bytes/sec)
$ cp a b
$ dd if=/dev/random bs=8192 count=8192 >> b 
8192+0 records in
8192+0 records out
67108864 bytes transferred in 0.512228 secs (131013601 bytes/sec)
$ cmp a b
cmp: EOF on a

cmp, karşılaştırmanın iki dosya arasında herhangi bir fark tespit etmeden önce a dosyasında bir EOF ile karşılaştığını söylüyor.