En hızlı yol birçok dosyayı bir araya getirir (tar czf çok yavaş)

Şu anda tar czfyedek dosyaları birleştirmek için çalışıyorum . Dosyalar belirli bir dizinde.

Ancak dosya sayısı artıyor. Kullanımı tzr czfçok fazla zaman alır (20 dakikadan fazla ve sayma).

Dosyaları daha hızlı ve ölçeklenebilir bir şekilde birleştirmem gerekiyor.

Bulduğum genisoimage, readomve mkisofs. Ancak hangisinin en hızlı olduğunu ve bunların her biri için sınırlamaların ne olduğunu bilmiyorum.

Zamanınızın çoğunun CPU'da mı yoksa G / Ç'de mi harcandığını kontrol etmelisiniz. Her iki durumda da, onu geliştirmek için yollar vardır:

A: sıkıştırmayın

Sen böylece argümanlar listeden "z" bırakarak deneyin gereksinimleri listenizde "sıkıştırma" söz etmedi: tar cf. Bu işleri biraz hızlandırmak olabilir.

Daha önce yedeklemiş olduğunuz dosyaları atlamak için "-N" kullanmak gibi işlemi hızlandırmak için başka teknikler de var.

B: tüm bölümü dd ile yedekle

Alternatif olarak, bölümün tamamını yedekliyorsanız, bunun yerine tüm disk görüntüsünün bir kopyasını alın. Bu işlemden tasarruf etmenizi ve bir çok disk başı zaman kazanmanızı sağlar. tarve daha yüksek bir seviyede çalışan diğer programların, dosya içeriğinin nerede olduğunu bulmak ve daha fazla kafa diski araması yapmak için dizin girişlerini ve düğümlerini okumak ve işlemek zorunda kalması ve her bir dosyayı diskten farklı bir yerden okuması gerekir.

Temel verileri daha hızlı yedeklemek için aşağıdakileri kullanın:

dd bs=16M if=/dev/sda1 of=/another/filesystem

(Bu, RAID kullanmadığınızı ve bu durumun biraz değişebileceğini varsayar)

Başkalarının söylediklerini tekrarlamak için: yedeklenen dosyalar hakkında daha fazla bilgi sahibi olmamız gerekir. Burada bazı varsayımlarla gideceğim.

Tar dosyasına ekle

Dosyalar yalnızca dizinlere ekleniyorsa (yani, hiçbir dosya silinmiyorsa), her zaman yeniden oluşturmak yerine varolan tar dosyasına eklediğinizden emin olun. Bunu, mevcut arşiv dosya adını tarkomutunuzda yenisi yerine (veya eskisini silerek) belirterek yapabilirsiniz .

Farklı bir diske yaz

Yazdığınız aynı diskten okumak, performansı düşürüyor olabilir. G / Ç yükünü yaymak için farklı bir diske yazmayı deneyin. Arşiv dosyasının orijinal dosyalarla aynı diskte olması gerekiyorsa, daha sonra taşıyın.

Sıkıştırmayın

Sadece @Yves dediklerini tekrar ediyorum. Yedek dosyalarınız zaten sıkıştırılmışsa, tekrar sıkıştırmaya gerek yoktur. Sadece CPU çevrimlerini boşa harcarsın.

Gibi katran lz4 crompression ile tar kullanarak

tar cvf - myFolder | lz4 > myFolder.tar.lz4

size her iki dünyanın da en iyisini verir (oldukça iyi sıkıştırma VE hız). Verileriniz ikili dosyalar içeriyor olsa bile yaklaşık 3 sıkıştırma oranı bekleyin.

Daha fazla okuma: sıkıştırma algoritmalarının karşılaştırılması lz4 ile katran

Kimsenin terk edip geri yüklemekten bahsetmemesine şaşırdım. Dosya sisteminde boş yer varsa , dd'den çok daha hızlı olacaktır .

Söz konusu dosya sistemine bağlı olarak farklı araçlara ihtiyaç duyabileceğinizi unutmayın:

• ext2 / 3/4 - dökümü ve geri (paket dökümü RH / Debian'daki)
• XFS - xfsdump ve xfsrestore ( RH / Debian'da xfsdump paketi )
• ZFS - zfs göndermek ve zfs recv
• BTRFS - btrfs gönderir ve btrfs alır

Bazı programlarda dahili sıkıştırma (boşaltma hariç) seçeneğinin bulunmadığına dikkat edin - gerektiği gibi pigd kullanmak ve domuz kullanmak için boru. ;-)