Unix / Linux'ta iki dosyanın aynı içeriğe sahip olup olmadığını anlamanın en hızlı yolu?

İçinde iki dosya aynı veri içerip içermediğini kontrol etmek için gereken bir kabuk komut dosyası var. Bunu bir çok dosya için yapıyorum ve diffkomut dosyamda komut performans darboğazı gibi görünüyor.

İşte çizgi:

diff -q $dst $new > /dev/null

if ($status) then ...

Dosyaları karşılaştırmanın daha hızlı bir yolu olabilir diffmi , varsayılan yerine özel bir algoritma olabilir mi?

cmpİlk bayt farkında duracağına inanıyorum :

cmp --silent $old $new || echo "files are different"

@Alex Howansky bunun için 'cmp --silent' kullandım. Ama hem olumlu hem de olumsuz yanıta ihtiyacım var, bu yüzden kullanıyorum:

cmp --silent file1 file2 && echo '### SUCCESS: Files Are Identical! ###' || echo '### WARNING: Files Are Different! ###'

Daha sonra sabit bir dosyaya karşı dosyaları kontrol etmek için terminalde veya ssh ile çalıştırabilirim.

Neden her iki dosya içeriğinin karmasını almıyorsunuz?

Bu komut dosyasını deneyin, örneğin script.sh dosyasını arayın ve aşağıdaki gibi çalıştırın: script.sh file1.txt file2.txt

#!/bin/bash

file1=`md5 $1`
file2=`md5 $2`

if [ "$file1" = "$file2" ]
then
    echo "Files have the same content"
else
    echo "Files have NOT the same content"
fi

Berbat olduğum için ve yeterince itibar puanım olmadığı için bu tidbit'i yorum olarak ekleyemiyorum.

Ancak, cmpkomutu kullanacaksanız (ve ayrıntılı / zorunlu olmak istemiyorsanız) çıkış durumunu alabilirsiniz. Başına cmpadam sayfası:

Bir DOSYA '-' veya eksikse, standart girişi okuyun. Girişler aynıysa çıkış durumu 0, farklıysa 1, sorun varsa 2'dir.

Yani, şöyle bir şey yapabilirsiniz:

STATUS="$(cmp --silent $FILE1 $FILE2; echo $?)"  # "$?" gives exit status for each comparison

if [[$STATUS -ne 0]]; then  # if status isn't equal to 0, then execute code
    DO A COMMAND ON $FILE1
else
    DO SOMETHING ELSE
fi

Farklı olmayan dosyalar için, herhangi bir yöntem, okuma geçmişte olsa bile her iki dosyayı da tamamen okumayı gerektirir.

Alternatif yok. Bu nedenle, zaman içinde karma veya sağlama toplamları oluşturmak için tüm dosyanın okunması gerekir. Büyük dosyalar zaman alır.

Dosya meta verilerinin alınması büyük bir dosyayı okumaktan çok daha hızlıdır.

Peki, dosyaların farklı olduğunu belirlemek için kullanabileceğiniz herhangi bir dosya meta verisi var mı? Dosya boyutu ? hatta dosyanın sadece küçük bir bölümünü okuyan dosya komutunun sonuçları?

Dosya boyutu örnek kod parçası:

  ls -l $1 $2 | 
  awk 'NR==1{a=$5} NR==2{b=$5} 
       END{val=(a==b)?0 :1; exit( val) }'

[ $? -eq 0 ] && echo 'same' || echo 'different'  

Dosyalar aynı boyutta ise, tam dosya okumaları ile sıkışıp kalırsınız.

Ayrıca cksum komutunu kullanmayı deneyin:

chk1=`cksum <file1> | awk -F" " '{print $1}'`
chk2=`cksum <file2> | awk -F" " '{print $1}'`

if [ $chk1 -eq $chk2 ]
then
  echo "File is identical"
else
  echo "File is not identical"
fi

Cksum komutu bir dosyanın bayt sayısını çıktılar. Bkz. 'Man cksum'.

Raspberry Pi 3B + ile bazı testler yapıyorum (bindirme dosya sistemi kullanıyorum ve periyodik olarak senkronize etmem gerekiyor), diff -q ve cmp -s için kendi karşılaştırmamı yaptım; bunun / dev / shm içindeki bir günlük olduğunu unutmayın, bu nedenle disk erişim hızları sorun değildir:

[root@mypi shm]# dd if=/dev/urandom of=test.file bs=1M count=100 ; time diff -q test.file test.copy && echo diff true || echo diff false ; time cmp -s test.file test.copy && echo cmp true || echo cmp false ; cp -a test.file test.copy ; time diff -q test.file test.copy && echo diff true || echo diff false; time cmp -s test.file test.copy && echo cmp true || echo cmp false
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 6.2564 s, 16.8 MB/s
Files test.file and test.copy differ

real    0m0.008s
user    0m0.008s
sys     0m0.000s
diff false

real    0m0.009s
user    0m0.007s
sys     0m0.001s
cmp false
cp: overwrite âtest.copyâ? y

real    0m0.966s
user    0m0.447s
sys     0m0.518s
diff true

real    0m0.785s
user    0m0.211s
sys     0m0.573s
cmp true
[root@mypi shm]# pico /root/rwbscripts/utils/squish.sh

Birkaç kez koştum. cmp -s kullandığım test kutusunda sürekli olarak biraz daha kısa süreleri vardı. Yani iki dosya arasında bir şeyler yapmak için cmp -s kullanmak istiyorsanız ....

identical (){
  echo "$1" and "$2" are the same.
  echo This is a function, you can put whatever you want in here.
}
different () {
  echo "$1" and "$2" are different.
  echo This is a function, you can put whatever you want in here, too.
}
cmp -s "$FILEA" "$FILEB" && identical "$FILEA" "$FILEB" || different "$FILEA" "$FILEB"