Tar.gz dosyasını çıkarmanın en hızlı yolu

Zaten bir tar.gz dosyasını ayıklamak için zaten var mı tar -zxvf filenamehere?

Büyük dosyalarımız var ve işlemi optimize etmeye çalışıyoruz.

linux tar gzip

— Justin
kaynak

Bunu buluyorlar $ tar -zxvfyöntem IO veya CPU sınırın nedir?

— AÇA,

CPU'ya inanın, nasıl kontrol edebilirim?

— Justin,

Doğrudan ilişkili değil, ancak 'z' 2004'ten beri gerekli olmadı / tar v1.1.5 gnu.org/software/tar/#TOCreleases :)

— JamesHannah

Yanıtlar:

pigz , gzip'in paralel bir versiyonudur. Dekompresyon için sadece tek bir iplik kullanmasına rağmen, okuma, yazma ve kontrol hesaplama için 3 ek iplik başlatır. Sonuçlarınız değişebilir, ancak bazı veri setlerimizin dekompresyonunda önemli bir iyileşme gördük. Pigz'i yükledikten sonra tar dosyası şu şekilde çıkarılabilir:

pigz -dc target.tar.gz | katran xf -

— TIMS
kaynak

+1. FWIW, bunu da yazabilirsiniz tar -xvf --use-compress-program=pigz filenamehere. ( -ztutar --use-compress-program=gzip.) Alternatif olarak, hatta gzipbir bağlantı olabilir pigzve kullanmaya devam edebilirsiniz -zxvf.

— ruakh

@ruakh, -xfsonra koymak zorunda kaldım --use-compress-program=pigzya da bir hata aldım. Bazı nedenlerden dolayı gzipolsa kullanmaktan daha hızlı değildi .

— jonderry

İçin bzip2olduğu pbzip2( pparalel için). tar --use-compress-program=pbzip2 -xvf file.tar.bz2.

— alfC

Bayrağı pvkullanırken, ilerlemeyi göstermek için komutu ya da eşdeğerini kullanmanın bir yolu var mı --use-compress-program=pigz? Sıkıştırma sırasında bunu yapabilirim gnutar --use-compress-program="pigz | pv" -cf target.tar.gz YourData, ancak untar / uncompression sırasında bunun nasıl yapıldığından emin değilim.

— Stefan Lasiewski

katran topunda birçok küçük dosya varsa, 'v' parametresini iptal edin, tekrar deneyin!

— anonim
kaynak

Asla -v paramını kullanmam. İnsanların neden konsolda bu kadar gürültüye ihtiyaç duyduğunu bilmiyorum.

— Eimantas

@Eimantas Çok gigabaytlık çok sayıda dosya içeren bir şeyi çıkardığınızda, bir miktar ilerleme göstergesi isteyeceksiniz. :)

— Michael Hampton

@TimHughes: Bunu bilmek gerçekten harika, lütfen ayrı bir cevap olarak gönderin!

— smci

Çok gigabaytlık bir dosyanız varsa, ancak büyük bir küçük dosya listesi ile karıştırılırsanız Michael Hampton -v kullanmak için iyi bir nedeniniz varsa, yerel testlerimde, uzak bir sunucuda tar kullanıyorsanız, özellikle tar'ı çok yavaşlatır terminal aracılığıyla yaptığım şey du -s dizinini izlemek, böylece dizinin büyümesini izleyebiliyorum ...

— Luciano Andress Martini

Kullanmaya değer olabilir --checkpoint=NUMBER( her NUMBERth kaydının ilerleme iletilerini görüntüleme ) yerine -v.

— Stefan Lasiewski,

İlerlemeyi görmek istiyorsanız, bunun gibi bir şey kullanın pv. İşte bir örnek:

pigz -dc mysql-binary-backup.tar.gz | pv | tar xf -

— Tim Hughes
kaynak