İçeriklerinde% 100 NUL karakterli dosyalar nasıl bulunur?

Bu tür dosyaları tanımlayabilen Linux komut satırı komutu nedir?

AFAIK findkomutu (veya grep) yalnızca metin dosyasının içindeki belirli bir dizeyle eşleşebilir . Ama yani ben normal ifade eşleşmesi hangi dosyaların görmek istiyorum, bütün içeriğini eşleştirmek istediğiniz \0+, satır sonu karakteri (ler) yok sayarak . Belki find . cat | grepdeyim işe yarayabilir, ama nasıl grep satırları görmezden (ve ikili dosya olarak muamele) yapmak bilmiyorum.

Arka plan: Her birkaç günde bir, dizüstü bilgisayarım dontuğunda, btrfs bölümüm bilgileri kaybediyor: yazma için açılan dosyalar içeriklerini sıfırlarla değiştiriyor (dosyanın boyutu az ya da çok sağlam kalıyor). Senkronizasyonu kullanıyorum ve bu sahte dosyaların yayılmasını istemiyorum: Onları tanımlamak için bir yola ihtiyacım var, böylece onları yedeklemeden yakalayabilirim.

grepPerl normal ifade modunu kullanarak ␀ karakter için yapabilirsiniz :

$ echo -ne "\0\0" > nul.bin
$ echo -ne "\0x\0" > non-nul.bin
$ grep -P "[^\0]" *.bin
Binary file non-nul.bin matches

Yani bunu kullanabilirsiniz:

for path in *.foo
do
    grep -P "[^\0]" "$path" || echo "$path"
done

Sorunun kökenini bulmak için D_Bye'nin söylediklerine katılıyorum.

Her neyse, bir dosyanın yalnızca içerip içermediğini \0ve / veya \nkullanabileceğinizi kontrol etmek için tr:

<file tr -d '\0\n' | wc -c

Boş / yeni satır ve boş dosyalar için 0 döndürür.

Bu dosyaların seyrek olduğundan şüpheleniyorum, yani kendilerine ayrılmış disk alanı yok, sadece bir dosya boyutu belirtiyorlar (onlar duiçin 0 rapor edecekler).

Bu durumda, GNU find ile şunları yapabilirsiniz (hiçbir dosya yolunun yeni satır karakteri içermediği varsayılarak):

find . -type f -size +0 -printf '%b:%p\n' | grep '^0:' | cut -d: -f2-

İşte yapabileceğiniz küçük bir python programı:

import sys

def only_contains_nulls(fobj, chunk_size=1024):
    first = True
    while True:
        data = fobj.read(chunk_size)
        if not data:
            if first:
                return 1  # No data
            else:
                return 0
        if data.strip("\0"):
            return 1
        first = False

if __name__ == '__main__':
    with open(sys.argv[1]) as f:
        sys.exit(only_contains_nulls(f))

Ve eylemde:

$ printf '\0\0\0' > file
$ ./onlynulls file && echo "Only nulls" || echo "Non-null characters"
Only nulls
$ printf a >> file
$ ./onlynulls file && echo "Only nulls" || echo "Non-null characters"
Non-null characters

Sen bulmak en kullanarak birden fazla dosya kontrol edebilirsiniz -exec, xargs, GNU parallelve benzeri programlar. Alternatif olarak, ele alınması gereken dosya adları yazdırılır:

files=( file1 file2 )
for file in "${files[@]}"; do
    ./onlynulls "$file" || printf '%s\n' "$file"
done

Bunun çıktısını başka bir programa aktaracaksanız, dosya adlarının yeni satırlar içerebileceğini aklınızda bulundurun, bu yüzden farklı şekilde (uygun şekilde, ile \0) sınırlandırmanız gerekir .

Çok fazla dosyanız varsa, aynı anda yalnızca bir dosya okuduğu için paralel işleme seçeneği kullanmak daha iyi olacaktır.

Yalnızca null karakterleri '\ 0' ve yeni satır karakterleri '\ n' içeren dosyaları bulun. İçinde sed nedenleri her dosya bir çizgide herhangi boş olmayan karakteri bulma hemen sonra çıkmak için arayın.
q

find -type f -name 'file-*' |
  while IFS= read -r file ;do 
      out=$(sed -n '1=; /^\x00\+$/d; i non-null
                      ; q' "$file")
      [[ $out == "1" ]] &&  echo "$file"
  done

Test dosyaları yapın

> file-empty
printf '%s\n' 'line1' 'line2' 'line3'      > file-with-text           
printf '%4s\n' '' '' xx | sed 's/ /\x00/g' > file-with-text-and-nulls
printf '%4s\n' '' '' '' | sed 's/ /\x00/g' > file-with-nulls-and-newlines
printf '%4s'   '' '' '' | sed 's/ /\x00/g' > file-with-nulls-only

çıktı

./file-with-nulls-and-newlines
./file-with-nulls-only

Bu tek satırlık GNU kullanarak% 100 nul dosyaları bulmak için en etkili yoludur find, xargsve grep(PCRE desteği ile inşa edilmiştir ikincisi varsayarak):

find . -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -r0 grep -LP "[^\x00]" --

Bu yöntemin sağlanan diğer cevaplara göre avantajları şunlardır:

• seyrek olmayan dosyalar aramaya dahil edilir.
• okunamayan dosyalar grep'e aktarılmaz, böylece Permission denieduyarılar önlenir.
• grepboş olmayan bir bayt bulduktan sonra dosyalardan veri okumayı durduracaktır ( LC_ALL=Cher baytın bir karakter olarak yorumlandığından emin olmak için kullanılır ).
• boş dosyalar (sıfır bayt) sonuçlara dahil edilmez.
• daha az grepişlem birden fazla dosyayı verimli bir şekilde kontrol eder.
• yeni satır içeren ya da ile başlayan yollar -doğru şekilde işlenir.
• Python / Perl içermeyen çoğu gömülü sistemde çalışır.

Geçme -Zseçeneği grepkullanılarak xargs -r0 ...daha ileri eylemler% 100 nul dosyalar üzerinde gerçekleştirilmesine olanak tanır (örneğin: temizleme):

find . -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -0 grep -ZLP "[^\x00]" -- |
  xargs -r0 rm --

Ayrıca , simgeleri takip etmekten kaçınmak ve dosya sistemlerinden geçmekten kaçınmak için findseçenekleri kullanmanızı öneririm (örneğin: uzak bağlar, aygıt ağaçları, bağlama bağları, vb.).-P-xdev

İçin hat sonu karakter (ler) göz ardı (Bunun hiç de iyi bir fikir olduğunu sanmıyorum gerçi), aşağıdaki varyant çalışması gerekir:

find . -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -r0 grep -LP "[^\x00\r\n]" --

Yedeklenmelerini önlemek için istenmeyen dosyaları (% 100 boş / yeni satır karakterleri) kaldırmak da dahil olmak üzere hepsini bir araya getirmek:

find -P . -xdev -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -0 grep -ZLP "[^\x00\r\n]" -- |
  xargs -0 rm --

Boş dosyalar (sıfır bayt) eklemenizi önermiyorum, genellikle çok özel amaçlar için var olurlar .

GNU sed kullanmak için -z, bir satırı sıfır sonlu dizeler olarak tanımlayan ve aşağıdaki gibi boş satırlarla eşleşen ve silen seçeneği kullanabilirsiniz :

if [ "$( sed -z '/^$/d' "$file" | head -c 1 | wc -c )" -eq 0 ]; then
    echo "$file contains only NULL!"
fi

Aradaki head komutu sadece bir optimizasyon.

piton

Tek dosya

Takma adı tanımlayın:

alias is_binary="python -c 'import sys; sys.exit(not b\"\x00\" in open(sys.argv[1], \"rb\").read())'"

Dene:

$ is_binary /etc/hosts; echo $?
1
$ is_binary `which which`; echo $?
0

Birden çok dosya

Tüm ikili dosyaları özyinelemeli olarak bulun:

IS_BINARY='import sys; sys.exit(not b"\x00" in open(sys.argv[1], "rb").read())'
find . -type f -exec bash -c "python -c '$IS_BINARY' {} && echo {}" \;

İkili olmayan tüm dosyaları bulmak için &&ile değiştirin ||.