Kabuktaki uzantıya göre toplam dosya boyutunu hesaplama

Lucene indeksleri içeren bir dizi dizinimiz var. Her dizin, farklı dosya türlerinin (uzantıya göre farklılaştırılmış) bir örneğidir:

0/index/_2z6.frq
0/index/_2z6.fnm
..
1/index/_1sq.frq
1/index/_1sq.fnm
..

(yaklaşık 10 farklı uzantı)

Dosya uzantısına göre toplam almak istiyoruz, örneğin:

.frq     21234
.fnm     34757
..

Du / awk / xargs çeşitli kombinasyonları denedim ama tam olarak bunu yapmak zor.

Herhangi bir uzantı için bir kullanım

find /path -name '*.frq' -exec ls -l {} \; | awk '{ Total += $5} END { print Total }'

bu türün toplam dosya boyutunu elde etmek için.

Ve biraz düşündükten sonra

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -n "$ft "
    find . -name "*${ft}" -exec ls -l {} \; | awk '{total += $5} END {print total}'
done

Hangi boyutu bulunan her dosya türü bayt cinsinden çıktı.

Bash version4 ile, sadece çağrı gerekir find, lsve awkgerekli değildir:

declare -A ary

while IFS=$'\t' read name size; do 
  ext=${name##*.}
  ((ary[$ext] += size))
done < <(find . -type f  -printf "%f\t%s\n")

for key in "${!ary[@]}"; do 
  printf "%s\t%s\n" "$key" "${ary[$key]}"
done

.Diziye kaydedilen her ikinci sütun ve son bölüm (uzantı) kaydedildi.

#!/bin/bash

find . -type f -printf "%s\t%f\n" | awk '
{
 split($2, ext, ".")
 e = ext[length(ext)]
 size[e] += $1
}

END{
 for(i in size)
   print size[i], i
}' | sort -n

o zaman her uzantı toplam bayt cinsinden var.

60055 gemspec
321991 txt
2075312 html
2745143 rb
13387264 gem
47196526 jar

Çok sayıda dosyayla çalışmak için Iain'in betiğini daha hızlı bir sürümle genişletme.

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -ne "$ft\t"
    find . -name "*${ft}" -exec du -bcsh '{}' + | tail -1 | sed 's/\stotal//'
done

Bu çözüm:

find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq -c | sort -n

Başlangıçta bu gönderiye gönderilen çözüm: Bir dizindeki tüm uzantıları ve ilgili dosya sayısını alın

Bu iki komutu kullanarak çözdüm:

FILES=$(find . -name '*.c')
stat -c %s ${FILES[@]} | awk '{ sum += $1 } END { print ".c" " " sum }'

soruya cevap sürümüm:

#!/bin/bash

date >  get_size.log
# Lists all files
find . -type f -printf "%s\t%f\n" | grep -E ".*\.[a-zA-Z0-9]*$" | sort -h | awk  '
{
        split($2, ext, ".")
        e = ext[length(ext)]
        # Checks that one extension could be found
        if(length(e) < length($2)) {
                # Check that file size are bigger than 0
                if($i > 0) {
                        # Check that extension not are integer
                        if(!(e ~/^[0-9]+$/)) {
                                size[e] += $1
                        }
                }
        }
        if(length(e) == length($2)) {
                size["blandat"] += $1
        }
}

END{
 for(i in size)
   print size[i], i
}' | sort -n >> get_size.log
echo
echo
echo The result are in file get_size.log

Crab'i deneyin ( http://etia.co.uk/ ) - dosya sistemini SQL kullanarak sorgulamanızı sağlayan bir komut satırı yardımcı programıdır.