Birden Çok GZip Dosyasının Hızlı Birleştirilmesi

Gzip dosyalarının bir listesi var:

file1.gz
file2.gz
file3.gz

Bu dosyaları , sıkıştırmasını açmak zorunda kalmadan tek bir gzip dosyasında birleştirmenin veya gziplemenin bir yolu var mı ?

Pratikte bunu bir web veritabanında (CGI) kullanacağız. Web'in kullanıcıdan bir sorgu alacağı ve sorguya dayalı olarak tüm dosyaları listeleyeceği ve bunları bir toplu iş dosyasında kullanıcıya geri sunacağı yer.

Gzip dosyalarıyla, dosyaları şu şekilde birleştirebilirsiniz:

cat file1.gz file2.gz file3.gz > allfiles.gz

Başına gzip RFC ,

Bir gzip dosyası bir dizi "üyeden" (sıkıştırılmış veri kümeleri) oluşur. [...] Üyeler basitçe dosyada birbiri ardına görünür, öncesinde, arasında veya sonrasında ek bilgi olmadan.

Bunun, birleştirilmiş verilerden tek bir gzip dosyası oluşturmakla tam olarak aynı olmadığını unutmayın; diğer şeylerin yanı sıra, tüm orijinal dosya adları korunur. Ancak, gunzip bunu bir birleştirme işlemine eşdeğer olarak ele alıyor gibi görünüyor.

Mevcut araçlar genellikle ek üyeler için dosya adı başlıklarını yok saydığından, sonuçtan tek tek dosyaları çıkarmak kolay değildir. Bunun mümkün olmasını istiyorsanız, bunun yerine bir ZIP dosyası oluşturun. ZIP ve GZIP, gerçek sıkıştırma için DEFLATE algoritmasını kullanır (ZIP, diğer bazı sıkıştırma algoritmalarını ve bir seçeneği destekler - yöntem 8, GZIP'nin sıkıştırmasına karşılık gelen yöntemdir); fark, meta veri biçimindedir. Meta veriler sıkıştırılmamış olduğundan, gzip başlıklarını çıkarmak ve bunun yerine ZIP dosya başlıklarını ve merkezi bir dizin kaydını tutmak yeterince basittir. Bakınız gzip formatında şartname ve ZIP formatında şartname .

man 1 gzipİhtiyacınız hakkında söylenenler burada .

Birden çok sıkıştırılmış dosya birleştirilebilir. Bu durumda, gunzip tüm üyeleri aynı anda çıkaracaktır. Örneğin:

gzip -c file1  > foo.gz
gzip -c file2 >> foo.gz

Sonra

gunzip -c foo

eşdeğerdir

cat file1 file2

Söylemeye gerek yok file1, ile değiştirilebilir file1.gz.

Bunu fark etmelisiniz:

gunzip tüm üyeleri aynı anda çıkaracaktır

Bu nedenle, tüm üyeleri ayrı ayrı toplamak için, isterseniz ek bir şeyler kullanmanız veya yazmanız gerekecektir.

Bununla birlikte, bu aynı zamanda man sayfasında da ele alınmaktadır.

Üyelerin daha sonra bağımsız olarak çıkarılabilmesi için birden fazla üyeye sahip tek bir arşiv dosyası oluşturmak istiyorsanız, tar veya zip gibi bir arşivleyici kullanın. GNU tar, -zgzip'i şeffaf olarak çağırma seçeneğini destekler . gzip, bir ikame olarak değil, katranın tamamlayıcısı olarak tasarlanmıştır.

Sadece kediyi kullan. Çok hızlı (benim için 500 MB için 0.2 saniye)

cat *gz > final
mv final final.gz

Daha sonra, güzel olduğundan emin olmak için çıktıyı zcat ile okuyabilirsiniz:

zcat final.gz

'Gz -c'nin diğer cevabını denedim ama zaten gzip'lenmiş dosyaları girdi olarak kullandığımda çöp ile sonuçlandım (sanırım onları iki kez sıkıştırdı).

PV:

Daha da iyisi, eğer sahipseniz kedi yerine 'pv':

pv *gz > final
mv final final.gz

Bu size çalışırken bir ilerleme çubuğu verir, ancak kedi ile aynı şeyi yapar.

Bu dosyalardan bir tar dosyası oluşturabilir ve ardından yeni gzip dosyasını oluşturmak için tar dosyasını gzip edebilirsiniz.

tar -cvf newcombined.tar file1.gz file2.gz file3.gz
gzip newcombined.tar