Yedeklemeler için rsnapshot kullanıyoruz. Yedeklenen dosyanın çok sayıda anlık görüntüsünü tutar, ancak eskilerini siler. Bu iyi. Ancak rm -rfbüyük bir dizin ağacında bir işlem yapmak yaklaşık 7 saat sürüyor . Dosya sistemi XFS'dir. Orada kaç dosya olduğundan emin değilim, ama muhtemelen milyonlarca numara.
Hızlandırmak için yine de var mı? Aynı rm -rfve saatlerce süren bir komut var mı ?
Yanıtlar:
Yok hayır.
rm -rfunlink()her dosyayı çağırarak dosya sisteminizde özyinelemeli bir derinlik ilk geçişi yapar . Sürecin yavaş gitmesine neden olan iki işlem opendir()/ readdir()ve şeklindedir unlink(). opendir()ve readdir()dizindeki dosya sayısına bağlıdır. unlink()silinmekte olan dosyanın boyutuna bağlıdır. Bunu daha hızlı yapmanın tek yolu, dosyaların boyutunu ve sayısını azaltmaktır (ki bu şüpheli değilim) veya dosya sistemini bu işlemler için daha iyi özelliklere sahip bir sistemle değiştirmek. XFS'nin büyük dosyadaki unlink () için iyi olduğuna, ancak büyük dizin yapıları için o kadar iyi olmadığına inanıyorum. Ext3 + dirindex veya reiserfs'nin daha hızlı olduğunu görebilirsiniz. JFS'nin ne kadar iyi bildiğinden emin değilim, ancak farklı dosya sistemi performansının birçok ölçütü olduğundan eminim.
Düzenleme: Görünüşe göre XFS ağaçları silmede korkunç , bu yüzden kesinlikle dosya sisteminizi değiştirin.
unlinkGerçek içeriğe hiçbir şey yapmadığını doğru söylüyorsunuz , ancak bir unlinksistem çağrısı yapmak için, kaldırılan bağlantı dosyanın sonuncusu ve şu anda açık değilse, dosya sistemi kodunun daha fazla işi vardır. Bu elbette dosya sistemine bağlıdır, ancak kaldırılan dosya çok büyük olduğunda çok fark edilebilir bir fark olabilir.
Alternatif olarak, dizini bir kenara taşıyın, aynı ad, izinler ve sahiplikle yeniden oluşturun ve bu dizine önem veren uygulamaları / hizmetleri yeniden başlatın.
Daha sonra genişletilmiş bir kesinti hakkında endişelenmenize gerek kalmadan arka planda orijinal dizini "nice rm" yapabilirsiniz.
XFS için doğru montaj seçeneklerinin ayarlandığından emin olun.
XFS ile -ologbufs = 8 kullanıldığında logbsize = 256k, silme performansınızı üç katına çıkarır.
Eğer rm'yi dosya düzeyinde etkili bir şekilde yapıyorsanız, uzun zaman alacaktır. Bu yüzden blok tabanlı anlık görüntüler çok iyi :).
RM'yi ayrı alanlara ayırmayı ve paralel olarak yapmaya çalışmayı deneyebilirsiniz, ancak herhangi bir iyileştirme yapmasını beklemeyebilirim. XFS'nin dosyaları silmeyle ilgili sorunları olduğu biliniyor ve bu, yaptığınız işin büyük bir parçasıysa, bunun için farklı bir dosya sistemi fikir olabilir.
Bu eski olduğunu biliyorum, ama bir öneri atmak düşündüm. Bu dosyaları sırayla siliyorsunuz, paralel rm işlemleri yapmak işleri hızlandırabilir.
http://savannah.nongnu.org/projects/parallel/ paralel xargs yerine yaygın olarak kullanılabilir
yani tüm dosyaları silerseniz deltedir
find -t f deletedir | parallel -j 10 rm
Bu sadece silmek için boş dizin yapıları ile bırakacak.
Not: Büyük olasılıkla yukarıda belirtildiği gibi dosya sistemi sınırlamalarına ulaşmaya devam edeceksiniz.
Buradaki alternatif bir seçenek, verileri rm yerine gerçek dosya sistemini gereksiz yere yeniden yapılandıracak şekilde ayırmak mıdır?
Komutanın güzelliğini azaltmaya ne dersiniz? Sevmek:
nice -20 rm -rf /path/to/dir/
find . -delete -name directoryve bundan çok daha hızlırm -rf.