Milyonlarca dosyayı silmek

Milyonlarca gif imgesiyle dolu bir kirim vardı. Rm komutu için çok fazla.

Bul komutunu bu şekilde deniyorum:

find . -name "*.gif" -print0 | xargs -0 rm

Sorun şu ki, makinemi gerçekten fena düşürüyor ve sunucu olduğundan müşteriler için zaman aşımına uğraıyor.

Makineyi kilitlemeden tüm bu dosyaları silmenin daha hızlı bir yolu var mı?

Daha hızlı istediğin her şey değildir. Gerçekten daha yavaş koşmak isteyebilirsiniz , bu nedenle silme işlemi devam ederken daha az kaynak tüketir.

Kullanım güzel (1) bir komutun önceliğini düşürmek için.

nice find . -name "*.gif" -delete

G / Ç'ye bağlı işlemler için iyi (1) yeterli olmayabilir. Linux zamanlayıcısı, yalnızca CPU'yu değil, G / Ç'yi de dikkate alır, ancak G / Ç önceliği üzerinde daha iyi kontrol sahibi olmak isteyebilirsiniz.

ionice -c 2 -n 7 find . -name "*.gif" -delete

Bu işe yaramazsa, onu yavaşlatmak için bir uyku da ekleyebilirsiniz.

find . -name "*.gif" -exec sleep 0.01 \; -delete

Linux kullanıyorsanız ve bu görev muhtemelen G / Ç bağlı olduğundan, komut boşta G / Ç zamanlayıcı önceliğini aşağıdakileri kullanarak vermenizi öneririm ionice(1):

ionice -c3 find . -name '*.gif' -delete

Orjinal komutunuzla kıyaslandığında, bunun boruyu önleyerek daha fazla CPU çevrimi bile sağlayabileceğini düşünüyorum xargs.

Hayır.

Daha hızlı bir yol yoktur, diskin yumuşak formatındaki appart. Dosyalar bir seferde rm'ye verilir (komut satırının sınırına xargskadar, her bir dosyada rm çağırmaktan çok daha iyidir). Yani hayır, kesinlikle daha hızlı bir yol yok.

Kullanmak nice(ya da reniceçalışan bir süreçte) sadece kısmen yardımcı olur çünkü bu işlem CPU kaynağını zamanlamak içindir, diski değil! Ve CPU kullanımı çok düşük olacaktır. Bu bir linux zayıflığıdır - eğer bir işlem diski "yerse" (yani onunla çok çalışırsa), tüm makine sıkışır. Gerçek zamanlı kullanım için modifiye çekirdek bir çözüm olabilir.

Sunucuda yapacağım şey, diğer işlemlerin işlerini el ile yapmasına izin vermektir - sunucuyu "nefes almasını" sağlayacak duraklamalar içerir:

find . -name "*.gif" > files
split -l 100 files files.
for F in files.* do
    cat $F | xargs rm
    sleep 5 
done

Her 100 dosyadan sonra 5 saniye beklenir. Daha uzun sürecek, ancak müşterileriniz herhangi bir gecikme farketmemelidir.

Silinecek dosya sayısı, geride bırakılan dosyalardan çok daha büyükse, silinecek dosya ağacında dolaşmak ve tüm bu dosya sistemi güncellemelerini yapmak en etkili yaklaşım olmayabilir. (Sakar referans sayımlı hafıza yönetimi yapmak, büyük bir ağaçtaki her nesneyi referansını bırakmak için ziyaret etmek, her şeyi tek adımda çöp içine istenmeyen hale getirmek yerine, ve temizlemek için ulaşılabilir olanı taramakla aynıdır.)

Yani, ağacın başka bir hacme tutulması gereken kısımlarını klonlayın. Orijinal birimde yeni, boş bir dosya sistemi yeniden oluşturun. Tutulan dosyaları orijinal yollarına geri kopyalayın. Bu belli belirsiz çöp toplama işlemine benzer .

Bir kesinti olacaktır, ancak sürekli kötü performans ve servis kesintisinden daha iyi olabilirdi.

Sisteminizde ve durumunuzda kullanışsız olabilir, ancak bunun nasıl gideceğine dair açık durumlar hayal etmek kolaydır.

Örneğin, bir dosya sistemindeki tüm dosyaları silmek istediğinizi varsayalım . Tek tek tekrarlama ve silme noktası ne olurdu? Boş bir dosya sistemi oluşturmak için sadece ayırın ve bölümün üstüne bir "mkfs" yapın.

Ya da yarım düzine önemli dosya dışındaki tüm dosyaları silmek istediğinizi varsayalım. Oradan yarım düzine al ve üstünden "mkfs".

Sonunda, kalması gereken yeterli sayıda dosya olduğunda, herhangi bir kesinti gibi diğer maliyetleri hesaba katarak özyinelemeli silme işleminin daha ucuz hale geldiği bazı kesinti noktaları vardır.

Denedin mi:

find . -name "*.gif" -exec rm {} +

Sonunda bulunan + işareti, çalıştırılacak tek rm komutu için daha fazla dosya bulunmasına neden olacaktır. Daha fazla ayrıntı için bu soruyu kontrol edin .