Linux'ta bir milyon görüntüyü bir dizinden diğerine taşımanın en hızlı yolu nedir?

Bir yerel dizinden başka bir yerel dizine taşınması gereken 30 GB disk alanı kaplayan bir milyon görüntü var.

Bunu yapmanın en etkili yolu ne olurdu? Kullanarak mv? Kullanarak cp? Kullanarak rsync? Başka bir şey?

Bunları almam gerekiyor:

/path/to/old-img-dir/*
                     00000000.jpg
                     --------.jpg  ## nearly 1M of them! ##
                     ZZZZZZZZ.jpg

ve buraya taşıyın:

/path/to/new/img/dir/

rsync Yerel ve uzak sistemleri hesaba katan çok sayıda istemci / sunucu arka plan çalışması yaptığı için kötü bir seçim olacaktır.

mvmuhtemelen en iyi seçimdir. Mümkünse, mv directory_old directory_newyerine denemelisiniz mv directory_old/* directory_new/. Bu şekilde, bir milyon şey yerine bir şeyi hareket ettiriyorsunuz.

find src_image_dir/ -type f -name '*.jpg' -print0 | xargs -0r mv -t dst_image_dir/ 

• Bu, argüman genişlemesini taşmaz.
• İsterseniz dosya uzantısını belirtebilirsiniz. (-Adı ...)
• find -print0ile xargs -0adlarda boşluk kullanmanıza izin verir.
• xargs -rmvtaşınacak bir şey olmadığı sürece çalışmaz . ( mvkaynak dosyası verilmezse şikayet eder).
• Sözdizimi mv -tönce hedefi, sonra da ihtiyaç duyduğu kaynak dosyalarını belirlemenizi sağlar xargs.
• Dizinin tamamını taşımak elbette çok daha hızlıdır, çünkü içerdiği dosya sayısına bakılmaksızın sabit zamanda gerçekleşir, ancak:
  • kaynak dizin kısa bir süre için kaybolacaktır ve size sorun yaratabilir;
  • işlem geçerli dizini çıktı dizini olarak kullanıyorsa (hareket etmeyen bir konumdan her zaman tam bir yola başvurmanın aksine), yeniden başlatmanız gerekir. ( günlük rotasyonunda yaptığınız gibi ).

Bu arada, kendime bu kadar büyük miktarda dosyayı bir kerede taşımam gerekip gerekmediğini sorardım. Toplu işlem abartılıyor. Bir şeyleri üretildikleri anda işleyebilirsem çok fazla iş biriktirmemeye çalışırım.

İki dizin aynı dosya sisteminde bulunuyorsa, mvdizinin içeriğini değil, DIRECTORY dizinini kullanın.

İki farklı dosya sisteminde bulunuyorlarsa, rsync kullanın:

rsync -av /source/directory/ /destination

/Kaynaktaki izlemeye dikkat edin . Bu, dizinin kendisini değil dizinin içindekileri kopyalayacağı anlamına gelir. /Kapalı bırakırsanız, dosyalar yine de kopyalanır, ancak adlı bir dizinde otururlar /destination/directory. / İle dosyalar sadece/destination

rsyncroot olarak çalıştırırsanız veya dosyalara sahipseniz dosya sahipliğini korur. Ayrıca mtimeher bir dosyanın da korunmasını sağlar .

tar cf - dir1 | (cd dir2; tar xf -)

tar cf - dir1 | ssh remote_host "( cd /path/to/dir2; tar xf - )"

'Cp' kullandığınızda her dosya bir open-read-close-open-write-close yapar. Tar, aynı anda birden fazla dosya üzerinde çalışmak için okuma ve yazma için farklı işlemler ve birden fazla basamak kullanır. Tek bir CPU kutusunda bile çok iş parçacıklı uygulamalar daha hızlıdır.

Hem directory_old hem de directory_new, aynı dosya sisteminde cp -lbulunduğundan mv, seçenek olarak kullanabilirsiniz . cp -lorijinal dosyalara sabit bağlantılar oluşturur. 'Move' ile işiniz bittiğinde ve sonuçtan memnun kaldığınızda, bu dosyaları directory_old dizininden kaldırabilirsiniz. hız açısından, önce bağlantıları oluşturduktan sonra orijinal olanları kaldırdığınızda 'mv' ile aynı olacaktır. Ancak bu yaklaşım, eğer mantıklıysa, en baştan başlamanıza izin verir.

O bağlıdır (tm). Dosya sisteminiz yazma üzerine kopyalanıyorsa, kopyalama ( cpveya rsyncörneğin) bir hamle ile karşılaştırılabilir olmalıdır. Ancak en yaygın durumlarda, move ( mv) en hızlı olacaktır, çünkü bir dosyanın nereye yerleştirildiğini tanımlayan veri parçaları arasında kolayca geçiş yapabilir (not: bu aşırı basitleştirilmiştir).

Yani, ortalama Linux kurulumunuzda devam edeceğim mv.

EDIT: @ Frédéric Hamidi yorumlarda iyi bir noktaya sahiptir: Bu yalnızca ikisi de aynı dosya sisteminde ve diskte olduğunda geçerlidir. Aksi takdirde veriler yine de kopyalanacaktır.

En az ~ 10k dosya kopyalamak için (dizin yok), cp şikayet etti:

/ bin / cp yürütülemiyor: Bağımsız değişken listesi çok uzun

En iyi seçenek Rsync:

rsync kaynak hedefi

Ve çok çabuk yapıldı!

Boş alanınız varsa, bunları tek bir .tar dosyasına arşivleyin (sıkıştırma olmadan daha hızlıdır) ve ardından dosyayı taşıyın ve arşivden çıkarın.

Varış yerinin niteliği, bu görevi yerine getirmenin en etkili yolunu belirler. Diyelim ki yerel bir sistemdesiniz, PWDşu /anda sizin . ve /amilyonlarca görüntü içeriyor. Görevimiz /b, tüm alt dizin yapısını korurken, tüm görüntüleri buraya taşımaktır . Ayrıca varsayalım Sağlar /ave /biki farklı bölümleri, yerel olarak bağlı disk üzerinde her biri için bağlama noktaları vardır. Bu görevi bir muşamba ile yapmak istiyoruz. Bu kadar emin kullandığınız olun biraz zaman alabilir screen, tmuxya da bir arka plan işlemi olarak bu yürütün.

tar -C /a -cf . | tar -C /b -xf -

Yani tüm dosyaları ve dizinleri kopyalamak istiyorum /aiçin /byani şimdi temizlemek gerekir, /abunu hatasız tamamladı onaylamak kez.