1000000 küçük dosyayı kopyalamayı hızlandırın

Bir dizin 1000000 4-20 kb dosyaları var. O dizini kopyalamam gerek. Ama her dosya için bir arama yapmak zorunda gibi görünüyor bu yüzden bu biraz zaman alır.

Bunu hızlandırabileceğim bir yol var mı?

Şu anda bu dosyaların kapladığı disk bloklarını alabilirsem, bunları sıralayabilir, yakın olan blokları birleştirebilirim (sıralı okumanın genellikle aramaktan daha hızlı olduğu göz önüne alındığında) ve bu blokları okuyabilirim, böylece RAM'daydılar kopyalamadan önce önbellek (32 GB RAM'im var).

Ancak bunun çalışması için dosyaların hangi bloklarda olduğunu tanımlamanın bir yoluna ihtiyacım var.

Manyetik bir cihazda EXT4 kullanıyorum (yani SSD değil).

Düzenle:

Bu işe yaramalı ama işe yaramıyor:

ls |
parallel -IOO --pipe "sudo parallel -j100 hdparm --fibmap {}'|tail -n +5'" |
sort -nk 2 | 
perl -ane 'if($u+10000 < $F[1]) { print "$l ",($u-$l),"\n"; $l=$F[1] } $u=$F[2]' |
sudo parallel --colsep ' ' dd if=/dev/sda1 skip={1} bs=512 count={2} '| cat >/dev/null'

Büyük bir dosyada test ederken dosyayı önbelleğe almaz.

Edit2:

İşte bazı kriterler. echo 3 >/proc/sys/vm/drop_cachesHer çalışma arasında önbellek temizlendi ( ). Ölçümler ile yapılır iostats -dkx 5.

rsync -Hav foo/ bar/: 1800 KB/s
cp -a foo/ bar/: 3600 KB/s
cat sort-by-inode | parallel -j1 -X cp foo/{} bar/: 5000 KB/s
cat sort-by-inode | shuf | parallel -j1 -X cp foo/{} bar/: 3000 KB/s
cat sort-by-inode | shuf | parallel -j10 -X cp foo/{} bar/: 7000 KB/s
cat sort-by-inode | parallel -j10 -X cp foo/{} bar/: 8000 KB/s
cat sort-by-inode | parallel -j100 -X cp foo/{} bar/: 9000 KB/s
cat sort-by-inode | parallel -j500 -X cp foo/{} bar/: 10000 KB/s

Peki bundan ne öğrenebiliriz?

Inode göre sıralama iyi bir fikir gibi görünüyor. Ancak, çoklu destek cpperformansını daha da paralel hale getirmek gibi görünüyor . Kaynağın foo/manyetik bir disk olduğunu vurgulamakta fayda var.

Varsayalım

• tarafından döndürülen girdiler readdirinode numarasına göre sıralanmaz
• dosyaları inode sırayla okumak arama işlemi sayısını azaltır
• çoğu dosyanın içeriği ilk 8k ayırmadadır (ext4 optimizasyonu) ve bu da daha az arama işlemi sağlar

dosyaları inode sırasıyla kopyalayarak kopyalamayı hızlandırmayı deneyebilirsiniz.

Bu, şöyle bir şey kullanmak anlamına gelir:

$ cd /mnt/src
$ ls -U -i | sort -k1,1 -n | cut -d' ' -f2- > ~/clist
$ xargs cp -t /mnt2/dst < ~/clist

GNU tar- paxgelenekte - hardlinkleri kendi başına halleder.

cd "$srcdir" ; tar --hard-dereference -cf - ./* |
    tar -C"${tgtdir}" -vxf -

Bu şekilde yalnızca iki tarişleme sahip olursunuz cpve tekrar tekrar çağırmaya devam etmenize gerek kalmaz .

@ Maxschlepzig'in cevabına benzer bir şekilde , filefragdosyaları ilk parçalarının diskte göründüğü sırayla sıralamak için çıktıyı ayrıştırabilirsiniz :

find . -maxdepth 1 -type f |
  xargs -d'\n' filefrag -v |
  sed -n '
    /^   0:        0../ {
      s/^.\{28\}\([0-9][0-9]*\).*/\1/
      h
      }
    / found$/ {
      s/:[^:]*$//
      H
      g
      s/\n/ /p
      }' |
    sort -nk 1,1 |
    cut -d' ' -f 2- |
    cpio -p dest_dir

Yukarıdaki sedkomut dosyasıyla MMV , bu yüzden iyice test ettiğinizden emin olun.

Aksi takdirde, ne yaparsanız yapın filefrag(bir kısmı e2fsprogs) kullanmak hdparmbirden fazla dosya argümanı alabileceğinden çok daha hızlı olacaktır . Sadece hdparm1.000.000 kez koşma yükü çok fazla yük ekleyecek.

Ayrıca, bir perlkomut dosyası (veya C programı) yazmak , FIEMAP ioctlher bir dosyaya bir kopyalamak, kopyalanması gereken blokların ve ait olduğu dosyaların sıralı bir dizisini oluşturmak ve daha sonra her şeyi sırayla kopyalamak çok zor olmazdı her bir bloğun boyutunu ilgili dosyadan okuma (yine de dosya tanımlayıcılarının bitmemesine dikkat edin).