BOM ile UTF-8 dosyalarını aramanın zarif yolu?

Hata ayıklama amacıyla, UTF-8 bayt sıra işareti (BOM) ile başlayan tüm dosyalar için yinelemeli olarak bir dizinde arama yapmam gerekiyor. Mevcut çözümüm basit bir kabuk betiğidir:

find -type f |
while read file
do
    if [ "`head -c 3 -- "$file"`" == $'\xef\xbb\xbf' ]
    then
        echo "found BOM in: $file"
    fi
done

Veya, kısa, okunamayan tek satırlı yazıları tercih ediyorsanız:

find -type f|while read file;do [ "`head -c3 -- "$file"`" == $'\xef\xbb\xbf' ] && echo "found BOM in: $file";done

Satır sonu içeren dosya adlarıyla çalışmaz, ancak bu tür dosyaların yine de beklenmemesi gerekir.

Daha kısa veya daha zarif bir çözüm var mı?

Metin düzenleyiciler için ilginç metin düzenleyicileri veya makrolar var mı?

Peki ya iğrenç ürün reçetesini bulup temizleyen bu basit komut? :)

find . -type f -exec sed '1s/^\xEF\xBB\xBF//' -i {} \;

"Bulmayı" seviyorum :)

Uyarı Yukarıdakiler, bu üç karakteri içeren ikili dosyaları değiştirecektir .

Yalnızca BOM dosyalarını göstermek istiyorsanız, bunu kullanın:

grep -rl $'\xEF\xBB\xBF' .

Bunu Windows'ta yapmanın en iyi ve en kolay yolu:

Total Commander → projenin kök dizinine git → dosyaları bul ( Alt+ F7) → dosya türleri *. * → "EF BB BF" metnini bul → 'Hex' onay kutusunu işaretleyin → ara

Ve listeyi aldın :)

find . -type f -print0 | xargs -0r awk '
    /^\xEF\xBB\xBF/ {print FILENAME}
    {nextfile}'

Yukarıda verilen çözümlerin çoğu, bazıları (Marcus'un çözümü gibi) sonuçları filtrelese bile, dosyanın ilk satırından daha fazlasını test eder. Bu çözüm, her dosyanın yalnızca ilk satırını test eder, bu nedenle biraz daha hızlı olması gerekir.

Bazı yanlış pozitifleri kabul ederseniz (metin olmayan dosyalar olması veya olası olmayan bir durumda bir dosyanın ortasında bir ZWNBSP olması durumunda), grep'i kullanabilirsiniz:

fgrep -rl `echo -ne '\xef\xbb\xbf'` .

Şunun gibi bir şey kullanırım:

grep -orHbm1 "^`echo -ne '\xef\xbb\xbf'`" . | sed '/:0:/!d;s/:0:.*//'

Bu, BOM'nin dosyanın ilk baytından başlayarak gerçekleşmesini sağlar.

grepOnları bulmak için ve Perl'i bu şekilde çıkarmak için kullanabilirsiniz :

grep -rl $'\xEF\xBB\xBF' . | xargs perl -i -pe 's{\xEF\xBB\xBF}{}'

Bir Windows kullanıcısı için bkz bu (bulmak için iyi bir PHP komut dosyası BOMprojenizde).

Özellikle PHP betiklerini arayan (aynı ada sahip bir araç phptagsdeğil) buna aşırı bir çözüm vi:

phptags --warn ./

Şöyle bir çıktı verecektir:

./invalid.php: TRAILING whitespace ("?>\n")
./invalid.php: UTF-8 BOM alone ("\xEF\xBB\xBF")

Ve --whitespacekip bu tür sorunları otomatik olarak düzeltir (yinelemeli olarak, ancak yalnızca .php komut dosyalarını yeniden yazdığını iddia eder.)

find -type f -print0 | xargs -0 grep -l `printf '^\xef\xbb\xbf'` | sed 's/^/found BOM in: /'

• find -print0 yeni satırlar kullanmak yerine her dosya adı arasına bir null \ 0 koyar
• xargs -0 satırla ayrılmış yerine boş değerle ayrılmış argümanlar bekler
• grep -l normal ifade ile eşleşen dosyaları listeler
• ^\xeff\xbb\xbfBir satırın başında sıfır genişlik boşlukları varsa BOMed olmayan UTF-8 dosyalarıyla eşleşeceği için normal ifade tamamen doğru değildir

Bunu yalnızca JavaScript dosyalarını düzeltmek için kullandım:

find . -iname *.js -type f -exec sed 's/^\xEF\xBB\xBF//' -i.bak {} \; -exec rm {}.bak \;

UTF dosyalarını arıyorsanız, dosya komutu çalışır. Dosyanın kodlamasının ne olduğunu size söyleyecektir. İçinde ASCII olmayan karakterler varsa, UTF ile gelecektir.

file *.php | grep UTF

Yine de yinelemeli çalışmaz. Bunu yinelemeli yapmak için muhtemelen bazı süslü komutlar kurabilirsiniz, ancak seviyelerim bitene kadar her seviyeyi aşağıdaki gibi ayrı ayrı aradım.

file */*.php | grep UTF