Dosyaları “ikili” veya “metin” olarak sınıflandırmanın uygun bir yolu var mı?

Standart Unix yardımcı programları, dosyaları "metin" veya "ikili" olarak sınıflandırmak için bazı sezgisel özellikleri kullanır grepve diffkullanır. (Örneğin, grepçıktısı çizgi gibi olabilir Binary file frobozz matches.)

zshBenzer bir "metin / ikili" sınıflandırma yapmak için komut dosyasında uygulanabilecek uygun bir test var mı ? (Gibi bir şey dışında grep '' somefile | grep -q Binary.)

(Böyle bir testin mutlaka sezgisel ve bu nedenle kusurlu olacağını biliyorum.)

fileSadece mime türünü sorarsanız text/x-shellscript, application/x-executablevb. Gibi pek çok farklı olanı alırsınız , ancak "metin" bölümünü kontrol ederseniz iyi sonuçlar almanız gerektiğini hayal ediyorum. Örneğin ( -bçıktıda dosya adı yok):

file -b --mime-type filename | sed 's|/.*||'

Bir başka yaklaşım isutf8, moreutils koleksiyonundan kullanmak olacaktır .

Dosya UTF-8 veya ASCII geçerliyse veya kısa devreler varsa, bir hata mesajı basarsa (sessizle -q) ve 0 ile çıkarsa 0 ile çıkar.

GNU tarafından kullanılan sezgisel bulmayı grepseviyorsanız, kullanabilirsiniz:

isbinary() {
  LC_MESSAGES=C grep -Hm1 '^' < "${1-$REPLY}" | grep -q '^Binary'
}

Bu NUL ilk tampon dosyadan okunan bayt arar (normal dosya için birkaç kilo-bayt, ama çok daha az bir boru veya soket ya da bazı cihazlar gibi için olabilir /dev/random). UTF-8 yerellerinde, geçerli UTF-8 karakterleri oluşturmayan bayt dizilerine de işaretler. LC_ALLDilin İngilizce olmadığı bir şeye ayarlanmadığı varsayılmaktadır .

${1-$REPLY}Form, bir olarak kullanmak için izin verir zshglob eleme:

ls -ld -- *(.+isbinary)

İkili dosyaları listelerdi .

iconvDosyayı okuyabilir mi karar vermeyi deneyebilirsiniz . Bu, file(başlangıçtan sadece birkaç bayt okur) ' dan daha az performans gösterir , ancak size daha güvenilir sonuçlar verir:

ENCODING=utf-8
if iconv --from-code="$ENCODING" --to-code="$ENCODING" your_file.ext > /dev/null 2>&1; then
    echo text
else
    echo binary
fi

Bu iconvtemelde no-op yapar , ancak geçersiz verilerle karşılaşırsa (bu örnekte geçersiz UTF-8), korkar ve çıkar.

Çağrılan bir komut dosyası yazabilir fileve ilgilendiğiniz davaları kontrol etmek için bir vaka ifadesi kullanabilirsiniz.

Örneğin

#!/bin/sh
case $(file "$1") in
(*script*|*\ text|*\ text\ *)
    echo text
    ;;
(*)
    echo binary
    ;;
esac

Tabii ki ilgilenilen birçok özel durum olabilir. Sadece stringsbir kopyasını kontrol libmagicediyorum, yaklaşık 200 vaka görüyorum, örneğin,

Konqueror cookie text
Korn shell script text executable
LaTeX 2e document text
LaTeX document text
Linux Software Map entry text
Linux Software Map entry text (new format)
Linux kernel symbol map text
Lisp/Scheme program text
Lua script text executable
LyX document text
M3U playlist text
M4 macro processor script text

Bazıları "text" dizesini farklı bir türün parçası olarak kullanır;

SoftQuad troff Context intermediate   
SoftQuad troff Context intermediate for AT&T 495 laser printer
SoftQuad troff Context intermediate for HP LaserJet

Aynı şekilde scriptbir kelimenin parçası olabilir, ama bu durumda hiçbir sorun görmüyorum. Ancak bir script "text"bir kelime olarak değil, bir alt kelimeyi kontrol etmelidir .

Hatırlatma olarak, fileçıktı her zaman "script" veya "text" içerecek kesin bir açıklama kullanmaz. Özel durumlar, dikkate alınması gereken bir şeydir. Bir takip --mime-type, .svgdosyalar için bu yaklaşımın işe yaramayacağını belirtti . Bununla birlikte, bir testte svg dosyaları için şu sonuçları görüyorum:

$ ls -l *.svg
-r--r--r-- 1 tom users  6679 Jul 26  2012 pumpkin_48x48.svg
-r--r--r-- 1 tom users 17372 Jul 30  2012 sink_48x48.svg
-r--r--r-- 1 tom users  5929 Jul 25  2012 vile_48x48.svg
-r--r--r-- 1 tom users  3553 Jul 28  2012 vile-mini.svg
$ file *.svg
pumpkin_48x48.svg: SVG Scalable Vector Graphics image
sink_48x48.svg:    SVG Scalable Vector Graphics image
vile-mini.svg:     SVG Scalable Vector Graphics image
vile_48x48.svg:    SVG Scalable Vector Graphics image
$ file --mime-type *.svg
pumpkin_48x48.svg: image/svg+xml
sink_48x48.svg:    image/svg+xml
vile-mini.svg:     image/svg+xml
vile_48x48.svg:    image/svg+xml

Binlerce dosyayı gördükten sonra seçtiğim mime tipi çıktıda sadece "text" yazısını gösteriyor. Muhtemelen, mime tipi çıktının sonunda "xml" yi eşleştirmek, "SVG" yi eşleştirmek yerine daha yararlı olabilir, ancak bunu yapmak için bir komut dosyası kullanmak , sizi burada yapılan öneriye geri götürür.

Her fileiki senaryoda da bazı ayarlamalar yapılmasını gerektirir ve% 100 güvenilir değildir (bazı Perl komut dosyalarım tarafından karıştırılır, bunları "veri" olarak adlandırır).

Birden fazla uygulaması var file. En sık kullanılanı, libmagicfarklı programlardan (belki de doğrudan zsholsa pythonda değil) kullanılabilecek çalışmalarını yapar.

Göre kabuk, Perl, Ruby ve Python için dosya testi karşılaştırma tablosu , Perl bir vardır -Tbu bilgileri sağlamak için kullanabilir seçeneği. Ancak bunun için karşılaştırılabilir bir özellik yok zsh.

Daha fazla okuma:

• İkili dosyaları dışlamak için zsh glob niteleyicisi

file--mime-encodingbir dosyanın kodlamasını algılamaya çalışan bir seçeneğe sahiptir .

 $file --mime-encoding Documents/poster2.pdf 
Documents/poster2.pdf: binary
 $file --mime-encoding projects/linux/history-torvalds/Makefile 
projects/linux/history-torvalds/Makefile: us-ascii
 $file --mime-encoding graphe.tex 
Dgraphe.tex: us-ascii
 $file --mime-encoding software.tex 
software.tex: utf-8

file --mime-encoding | grep binaryBir dosyanın ikili bir dosya olup olmadığını tespit etmek için kullanabilirsiniz . Uzun bir metin dosyasında tek bir geçersiz karakter ile karıştırılsa da güvenilir bir şekilde çalışır.

Örneğin, catyanlışlıkla bir ikili dosyayı açarak terminalimi mahvetmemek için aşağıdaki kabuk betiğine takılıyorum:

#! /bin/sh -

[ ! -t 1 ] && exec /bin/cat "$@"
for i
do
    if file --mime-encoding -- "$i" | grep -q binary
    then
        hexdump -C -- "$i"
    else
        /bin/cat -- "$i"
    fi
done

Kategoriler keyfidir. Nasıl bir sınıflandırma yapılacağı cevabından önce, (kesin) bir tanımlamaya ihtiyacınız vardır. Bir tanımın olması için bir amaca ihtiyacın var .

Peki, bu sınıflandırma ile ne yapmak istiyorsunuz?

• FTP'de ascii / binary seçmek istiyorsanız, bir ikili dosyayı ascii olarak aktarmamanız önemlidir (veya bozuk olacaktır). Bu nedenle, dosyanın düz metinler, html, rtf ve diğerleri olup olmadığını sınamalısınız. Ancak şüphede, ikiliyi seçin. Ve belki de dosyanın yalnızca 0x0A, 0x0D ve 0x20-0x7F gibi bir altküme sahip olduğunu test etmek istersiniz.
• Dosyayı bazı protokollerde (POP3, SMTP) aktarmak istiyorsanız, base64'te mi yoksa sadece düz olarak mı kodlanacağını seçmek için test etmeniz gerekir. Bu durumda, desteklenmeyen karakterler olup olmadığını test etmelisiniz.
• Başka bir durumda… Başka bir tanımı olabilir.

perl -e'chomp(my$f=<>);print "binary$/" if -B $f;print "text$/" if -T _'

yapacağım. Bkz belgelerine -Bve-T (dize için o sayfa içinde arama The -T and -B switches work as follows).

Https://github.com/audreyr/binaryornot'a katkıda bulundum. Komut satırı sarmalayıcısına sahip değil (henüz) ancak bu, CLI'den bile çağırması kolay, basit bir Python kütüphanesi. Bir dosyanın metin mi, yoksa ikili mi olduğunu belirlemek için oldukça etkili bir sezgisel tarama kullanır.

Şimdi bu cevap biraz eski, ama sanırım arkadaşım bana bunu yapmak için harika bir "kes" öğretti.

diffKomutu kullanır ve dosyanızı bir test metni dosyasına karşı kontrol eder:

$ diff filetocheck testfile.txt

Şimdi filetocheckbir ikili dosya ise, çıktı şöyle olur:

Binary files filetocheck and testfile.txt differ

Bu yolla diffkomuttan faydalanabilir ve örneğin bir komut dosyasında kontrolü yapan bir fonksiyon yazabilirsiniz.