İlerlemeyi de görürken, bir dizinden milyarlarca dosyayı silmek

Resmî olarak tüm JPEG dosyaları olan milyarlarca dosyayı içeren 30 TB'luk bir dizine sahibim. Bunun gibi her dosya klasörünü siliyorum:

sudo rm -rf bolands-mills-mhcptz

Bu komut sadece çalışır ve çalışıyor olsun veya olmasın hiçbir şey göstermez.

Dosyaları siliyor ya da komutun o andaki durumunu görmek istiyorum.

Sen kullanabilirsiniz rm -vsahip olmak rmdosya silinmiş başına bir satır yazdırın. Bu yolla rmdosyaların gerçekten silinmeye çalıştığını görebilirsiniz . Ancak milyarlarca dosyanız varsa, tüm göreceğiniz bu rmhala çalışıyor demektir. Kaç dosyanın silindiği ve ne kadarının kaldığı hakkında hiçbir fikriniz olmaz.

Araç pv, bir ilerleme tahmininde size yardımcı olabilir.

http://www.ivarch.com/programs/pv.shtml

Burada çağırmak şekli şöyledir rmile pvörnek çıkışı ile

$ rm -rv dirname | pv -l -s 1000 > logfile
562  0:00:07 [79,8 /s] [====================>                 ] 56% ETA 0:00:05

Bu tartışmalı örnekte dosyalar pvolduğunu söyledim 1000. pv562 çıktısı, 562'nin zaten silinmiş olduğunu, geçen sürenin 7 saniye olduğunu ve tamamlanma tahmininin 5 saniye içinde olduğunu gösterir.

Bazı açıklamalar:

• pv -lpvbayt yerine newlines saymayı yapar
• pv -s numberpvtoplamın ne olduğunu söyler , böylece size bir tahminde bulunabilir.
• logfileSonuna yapılan yönlendirme temiz çıktı içindir. Aksi halde, durum çizgisi pvile olan çıktı karışır rm -v. Bonus: silinenlerden bir günlük dosyası alacaksınız. Ancak dosyanın çok büyük olacağına dikkat edin. /dev/nullBir günlüğe ihtiyaç duymuyorsanız da yönlendirebilirsiniz .

Dosya sayısını almak için bu komutu kullanabilirsiniz:

$ find dirname | wc -l

Milyarlarca dosya varsa bu da uzun zaman alabilir. pvBurada ne kadar sayıldığını görmek için de kullanabilirsiniz.

$ find dirname | pv -l | wc -l
278k 0:00:04 [56,8k/s] [     <=>                                              ]
278044

İşte 278k dosyaları saymak için 4 saniye sürdü diyor. Sonundaki ( 278044) kesin sayım , çıktısıdır wc -l.

Saymayı beklemek istemiyorsanız, dosya sayısını tahmin edebilir veya tahmin pvetmeden kullanabilirsiniz :

$ rm -rv dirname | pv -l > logfile

Bunun gibi bitirmek için bir tahminde bulunmayacaksınız ama en azından kaç dosyanın silinmiş olduğunu göreceksiniz. Günlük /dev/nulldosyasına ihtiyacınız yoksa, yönlendirin .

nitpick:

• gerçekten ihtiyacın var sudomı
• Genellikle rm -ryinelemeli olarak silmek için yeterlidir. hayır için ihtiyaç rm -f.

Check out Lesmana yanıtını , çok daha iyi benim daha var - özellikle son pvçok daha uzun orijinal sessiz daha sürmez örnek, rmbelirttiğiniz takdirde /dev/nullyerine logfile.

rmSeçeneğinizi desteklediğini varsayarak (muhtemelen Linux çalıştırdığınızdan beri gerçekleşir), aşağıdaki modda ayrıntılı olarak çalıştırabilirsiniz -v:

sudo rm -rfv bolands-mills-mhcptz

Bazı yorum yapanlar tarafından belirtildiği gibi, terminal tarafından üretilen ve görüntülenen çıktı miktarı nedeniyle bu çok yavaş olabilir. Bunun yerine çıktıyı bir dosyaya yönlendirebilirsiniz:

sudo rm -rfv bolands-mills-mhcptz > rm-trace.txt

ve boyutunu izleyin rm-trace.txt.

Diğer bir seçenek de, dosya sistemindeki düşüş sayısındaki dosya sayısının izlenmesidir. Başka bir terminalde çalıştırın:

watch  df -ih   pathname

Kullanılan inode sayımı rmilerledikçe azalacaktır . (Dosyalar çoğunlukla birden fazla bağlantıya sahip değilse, örneğin ağaç oluşturulduysa cp -al). Bu, dosya sayısı (ve dizinler) açısından silme ilerlemesini izler. dfolmadan -ikullanılan alan açısından izleyecektir.

iostat -x 4Saniyede G / Ç işlemlerini görmek için de koşabilirsiniz (kiB / s'nin yanı sıra bu, saf meta veri G / Ç için çok da önemli değildir).

rmŞu anda hangi dosyaların üzerinde çalıştığını merak ediyorsanız, bir bağlantı ekleyebilir straceve unlink()(ve getdents) sistem çağrılarının terminalinizde patladığı gibi izleyebilirsiniz . örn sudo strace -p $(pidof rm). Şunları yapabilirsiniz ^cstrace ayırmak için rmonu kesmeden.

rm -rDizini sildiği ağaca değiştirirse unuturum ; eğer öyleyse bakabilirsin /proc/<PID>/cwd. Onun /proc/<PID>/fdsize ne olduğunu görmek için bu bakmak böylece kudreti genellikle dizin, açık fd olan rmsüreç şu anda bakıyor.

Yukarıdaki cevaplar her kullanım sırasında rm, rmGeçenlerde gözlenen olarak çıkarılırken aslında arşiv .tar bir silerek daha az zaman aldı aslında ~, dosyaların büyük sayıda silme oldukça yavaş 100K dosya olabilir. Bu aslında sorduğunuz soruyu yanıtlamamasına rağmen, bu sorunun en iyi çözümü, dosyalarınızı silmek için bu sorunun yanıtlanan yanıtlarından biri gibi farklı bir yöntem kullanmak olabilir .

Kişisel favori yöntemim kullanmaktır rsync -a --delete. Bu yöntemin , yazarın derlemeniz gereken bir C programı yazdığı, bu sorunun en çok cevaplanan cevabı üzerinde kullanım kolaylığına değeceği kadar hızlı bir şekilde çalıştığını biliyorum . (Bunun, işlenen her dosyanın stdout'a gönderileceğini unutmayın, bunun gibi rm -rv; bu işlemi şaşırtıcı bir miktarda yavaşlatabilir. Bu çıktısını istemiyorsanız rsync -aq --delete, çıktıyı bir dosyaya kullanın veya yeniden yönlendirin.)

Bu cevabın yazarı şöyle diyor:

Program şimdi (sistemimde) 1000000 dosyayı 43 saniyede silecek. Buna en yakın program 60 saniye süren rsync -a --delete'dir (bu da silmeleri sırayla yapar ancak verimli bir dizin araması yapmaz).

Bunun amaçlarım için yeterince iyi olduğunu buldum. Ayrıca, en azından ext4 kullanıyorsanız, bu yanıttan potansiyel olarak önemli:

Öngörü olarak, kişi etkilenen dizini silmeli ve sonra yeniden düzenlemelidir. Dizinler yalnızca boyut olarak çoğalır ve dizinin boyutu nedeniyle içinde bulunan birkaç dosyada bile düşük performans göstermeye devam eder.

Yapabileceğiniz şeylerden biri rm, arka planda işlemi başlatmak (çıktı olmadan, bu yüzden yavaşlamayacak) ve sonra basit bir ^(a) komutuyla ön planda izlemek olacaktır :

pax> ( D=/path/to/dir ; rm -rf $D & while true ; do
...>   if [[ -d $D ]] ; then
...>     echo "$(find $D | wc -l) items left"
...>   else
...>     echo "No items left"
...>     break
...>   fi
...>   sleep 5
...> done )

27912 items left
224 items left
No items left

pax> _

find/wcAçılan, istediğiniz birimler verebilen herhangi bir araç ile değiştirilebilir.

^(a) Nükleer fiziğe, Riemann hipotezine veya karımı Xmas için ne alacağına göre , nispeten basit.

Bir süre önce, satırların yazdırılma oranını yazdırmak için bir şeyler yazdım. Koşabilir rm -rfv | ./counterve sn / dak başına satır basar. Doğrudan bir ilerleme olmamasına rağmen, ilerleme hızı hakkında bir geri bildirim verecektir, belki rmbir ağ dosya sistemine ya da benzeri bir ürüne dolanabilirsiniz?

Kodun bağlantısı burada:

http://www.usenix.org.uk/code/counter-0.01.tar.gz