Her seferinde ve sonra bzip2'ye dönüştürmem gereken bir sürü gzip dosyam var. Şu anda, sadece 'gunzip's her dosya ve daha sonra' bzip2's bir kabuk betiği kullanıyorum. Bu işe yaramasına rağmen, tamamlanması çok zaman alıyor .
Bu süreci daha verimli hale getirmek mümkün mü? Dalış yapmaya ve gerekirse gunzip ve bzip2'nin kaynak kodlarına bakmaya hazırım, ancak kazancından emin olmak istiyorum. Sürecin etkinliğini arttırma konusunda herhangi bir umut var mı?
Yanıtlar:
Bu soru, uzun zaman önce pbzip2'nin uygun olmadığı veya stdin'i sıkıştıramadığı durumlarda sorulmuştu , ancak şimdi paralel ve pbzip2'yi ( bzip2 yerine ) kullanarak hem sıkıştırma hem de sıkıştırma adımlarını paralel hale getirebilirsiniz :
ls *.gz | parallel "gunzip -c {} | pbzip2 -c > {.}.bz2"
bzip2 kullanmaktan çok daha hızlıdır .
Bir adımda gunzip ve diğerinde bzip2 yerine, boru kullanmanın daha verimli olup olmayacağını merak ediyorum. Gibi bir şeygunzip --to-stdout foo.gz | bzip2 > foo.bz2
İki veya daha fazla CPU ile düşünüyorum, bu kesinlikle daha hızlı olurdu. Ama belki sadece tek bir çekirdekli bile. Utanç verici olsa da, bunu denememiş olduğunu itiraf ediyorum.
bzip2ve gzipbir boru kullanarak, dahili olarak paralel çalışmayan bir boru örtülü olarak iki süreci başlatır çünkü onları paralel olarak çalışabilirler olabilir olacak paralel olarak çalıştırılır. Dolayısıyla en azından dekompresyon ve sıkıştırma paralel olarak çalışacaktır.
bzip2CPU kullanımı gunzipbirini cüceler , bu yüzden pratikte buraya aldığınız paralellik minimumdur. Disk yapmak zorunda kalmamak IO yine de güzel!
GNU paralel ( http://www.gnu.org/software/parallel ), birden fazla çekirdeğiniz varsa (veya birden fazla makineniz varsa) bir seçenek olabilir:
ls *.gz | parallel "gunzip -c {} | bzip2 > {.}.bz2"
Ayrıntılar ve seçenekler için öğretici / man sayfasını okuyun.
Şu anda yaptığın en iyi şey. Kullanılabilir bir dönüştürme aracı yoktur ve zaten gzip edilmiş bir dosyayı bzip2'ye sokmaya çalışmak, genellikle istenmeyen efektlere sahip olduğundan, gerçekten bir seçenek değildir. Algoritma farklı olduğu için, dönüştürme ne olursa olsun orijinal verilerin alınmasını gerektirir. Elbette, gzipping, bzip2 sürecinde, ne yazık ki olmadığı bir adımdı.
gzipkullanırken Leimpel-Ziv 77 bzip2kullanırken. Farklı algoritmalar, korkarım.
Bazen, aynı şeyi günlük dosyalarında da yapmam gerekiyor. En küçük * .gz dosyalarıyla ilk ( ls -rS), gunzip ve sonra bzip2 ile başlıyorum . Gunzip çıkışını doğrudan bzip2 girişine yönlendirmenin mümkün olup olmadığını bilmiyorum. Bzip2 komutu, sıkıştırma işleminde gunzip'in dekompresyonda olduğundan çok daha yavaştır, belleği tüketir ve ana bilgisayarda yer değiştirebilir.
İyileştirmeler veya önerilerinizi bekliyoruz. İşte benim astarım:
for i in $(ls -rS *.gz | sed 's/\.gz//'); do gunzip ${i}.gz; bzip2 -9 ${i}; done
Birkaç taneden fazlasına sahipseniz, LJ makalesine hoş bir kabuk betiği ile bakın.
http://linuxgazette.net/123/bechtel.html
7zip daha iyi sıkıştırma alır ve çok dişlidir.
Bunu birkaç dakika önce yapmalıydım:
find . -name "*.gz" | perl -pi -e 's/\.gz$//g;' | xargs -n1 ./rezip
Nerede reziptanımlanır:
#!/bin/bash
gunzip -v $1.gz && bzip2 -9v $1
İsteğe bağlı olarak, bir -Pseçeneği kullanarak çok iş parçacıklı hale getirebilirsiniz xargs, ancak buna dikkat edin. (Düşük başla!)
pbzip2. Bağlantının başkaları için yüklenmemesi durumunda, işte proje sayfası ve man sayfası .