Katran + gzip / bzip sıkıştırma / açma için çoklu çekirdek kullanımı

Normalde kullanarak sıkıştırıyorum tar zcvfve kullanarak sıkıştırmayı açıyorum tar zxvf(alışkanlık nedeniyle gzip kullanarak).

Son zamanlarda hiper iş parçacıklı bir dört çekirdekli CPU aldım, bu yüzden 8 mantıksal çekirdeğe sahibim ve çekirdeklerin çoğunun sıkıştırma / açma sırasında kullanılmadığını fark ettim.

Kullanılmayan çekirdekleri daha hızlı hale getirmek için kullanabilmemin bir yolu var mı?

Birden çok çekirdeğe gzip sıkıştırması yapan gzip yerine pigz kullanabilirsiniz . -Z seçeneğini kullanmak yerine, pigz ile boru döşersiniz:

tar cf - paths-to-archive | pigz > archive.tar.gz

Varsayılan olarak, pigz kullanılabilir çekirdek sayısını veya bunu sorgulayamadıysa sekiz kullanır. -Pn ile daha fazlasını isteyebilirsiniz, örneğin -p 32. pigz, gzip ile aynı seçeneklere sahiptir, bu nedenle -9 ile daha iyi sıkıştırma talep edebilirsiniz. Örneğin

tar cf - paths-to-archive | pigz -9 -p 32 > archive.tar.gz

Katran bayrağını hangi sıkıştırma programının kullanacağını söylemek için "--use-dvd-program =" katranını da kullanabilirsiniz.

Örneğin:

tar -c --use-compress-program=pigz -f tar.file dir_to_zip 

Ortak bir yaklaşım

tarProgram için bir seçenek var :

-I, --use-compress-program PROG
      filter through PROG (must accept -d)

Archiver veya kompresör yardımcı programının çok iş parçacıklı sürümünü kullanabilirsiniz.

En popüler çok iş parçacıklı arşivler pigz (gzip yerine) ve pbzip2'dir (bzip2 yerine). Örneğin:

$ tar -I pbzip2 -cf OUTPUT_FILE.tar.bz2 paths_to_archive
$ tar --use-compress-program=pigz -cf OUTPUT_FILE.tar.gz paths_to_archive

Arşivleyici -d'yi kabul etmelidir. Değişim yardımcı programınızda bu parametre yoksa ve / veya ek parametreler belirtmeniz gerekiyorsa, borular kullanın (gerekirse parametreleri ekleyin):

$ tar cf - paths_to_archive | pbzip2 > OUTPUT_FILE.tar.gz
$ tar cf - paths_to_archive | pigz > OUTPUT_FILE.tar.gz

Tekli ve çok parçalı giriş ve çıkışlar uyumludur. Çok parçalı sürümü kullanarak sıkıştırabilir ve tekli sürümü kullanarak sıkıştırmayı açabilirsiniz veya tam tersini yapabilirsiniz.

p7zip

Sıkıştırma için p7zip için aşağıdaki gibi küçük bir kabuk betiğine ihtiyacınız vardır:

#!/bin/sh
case $1 in
  -d) 7za -txz -si -so e;;
   *) 7za -txz -si -so a .;;
esac 2>/dev/null

7zhelper.sh kaydedin. İşte kullanım örneği:

$ tar -I 7zhelper.sh -cf OUTPUT_FILE.tar.7z paths_to_archive
$ tar -I 7zhelper.sh -xf OUTPUT_FILE.tar.7z

xz

Çok iş parçacıklı XZ desteği ile ilgili. XZ Utils'ın 5.2.0 veya daha üst bir sürümünü çalıştırıyorsanız, XZ_DEFAULTS (örn. ) Çevresel değişkeni aracılığıyla uygun bir değere ayarlayarak -Tveya --threadsuygun bir değere sıkıştırma için birden fazla çekirdek kullanabilirsiniz XZ_DEFAULTS="-T 0".

Bu 5.1.0 alfa versiyonu için bir insan parçası:

Çok iş parçacıklı sıkıştırma ve açma işlemi henüz uygulanmadığından, bu seçeneğin şimdilik bir etkisi yoktur.

Ancak bu, iş parçacığı etkinleştirilmişken de sıkıştırılmamış dosyaların sıkıştırılması için çalışmaz. 5.2.2 sürümü için insandan:

Dişli dekompresyon henüz uygulanmadı. Yalnızca blok başlıklarında boyut bilgisi olan birden fazla blok içeren dosyalarda çalışır. Çok iş parçacıklı modda sıkıştırılmış tüm dosyalar bu koşulu karşılar, ancak tek iş parçacıklı modda sıkıştırılmış dosyalar --block-size = size kullanılsa bile çalışmaz.

Değiştirme ile yeniden derleme

Kaynaklardan tar oluşturursanız, parametrelerle yeniden derleyebilirsiniz

--with-gzip=pigz
--with-bzip2=lbzip2
--with-lzip=plzip

Katranı bu seçeneklerle yeniden derledikten sonra katran yardımının çıktısını kontrol edebilirsiniz:

$ tar --help | grep "lbzip2\|plzip\|pigz"
  -j, --bzip2                filter the archive through lbzip2
      --lzip                 filter the archive through plzip
  -z, --gzip, --gunzip, --ungzip   filter the archive through pigz

-IKatran --use-compress-programanahtarı için kısayolu kullanabilir ve pbzip2birden çok çekirdeğe bzip2 sıkıştırması başlatabilirsiniz :

tar -I pbzip2 -cf OUTPUT_FILE.tar.bz2 DIRECTORY_TO_COMPRESS/

Dosya adları ve sıkıştırma seçeneklerinde daha fazla esnekliğe sahip olmak istiyorsanız, şunları kullanabilirsiniz:

find /my/path/ -type f -name "*.sql" -o -name "*.log" -exec \
tar -P --transform='s@/my/path/@@g' -cf - {} + | \
pigz -9 -p 4 > myarchive.tar.gz

Aşama 1: find

find /my/path/ -type f -name "*.sql" -o -name "*.log" -exec

Bu komut arşivlemek istediğiniz dosyaları, bu durumda /my/path/*.sqlve /my/path/*.log. -o -name "pattern"İstediğiniz kadar ekleyin .

-execaşağıdaki komutu kullanarak bir sonraki komutu yürütür find:tar

Adım 2: tar

tar -P --transform='s@/my/path/@@g' -cf - {} +

--transformbasit bir dize değiştirme parametresidir. Dosyaların arşivdeki yolunu çıkarır, böylece tarball'ın kökü ayıklanırken geçerli dizin olur. -CAvantajları kaybedeceğiniz için dizini değiştirme seçeneğini kullanamayacağınızı unutmayın find: dizindeki tüm dosyalar dahil edilecektir.

-Ptarmutlak yollar kullanmasını söyler , bu nedenle "Önde gelen` / '' üye adlarından çıkarılıyor "uyarısını tetiklemez. İle başlayan '/' --transformyine de kaldırılır .

-cf -tardaha sonra belirleyeceğimiz tarball adını kullanmayı söyler

{} +findönceden bulunan her dosyayı kullanır

Aşama 3: pigz

pigz -9 -p 4

İstediğiniz kadar parametre kullanın. Bu durumda -9sıkıştırma seviyesi ve -p 4sıkıştırmaya ayrılan çekirdek sayısıdır. Bunu ağır yüklü bir web sunucusunda çalıştırırsanız, muhtemelen tüm kullanılabilir çekirdekleri kullanmak istemezsiniz.

4.Adım: Arşiv adı

> myarchive.tar.gz

En sonunda.

Dikkate almak isteyebileceğiniz nispeten daha yeni (de) bir sıkıştırma aracı standarttır . Yedek çekirdeklerin kullanılması konusunda mükemmel bir iş çıkarır ve sıkıştırma oranı ile (de) sıkıştırma süresi söz konusu olduğunda bazı büyük ödünleşmeler yapmıştır. Sıkıştırma oranı gereksinimlerinize bağlı olarak da son derece ince ayar yapılabilir.