Büyük dosyalar için önce sıkıştır sonra transfer veya rsync -z? hangisi daha hızlı olurdu?

Bir ton görelilik küçük veri dosyam var ama yaklaşık 50 GB yer kaplıyorlar ve farklı bir makineye aktarılmalarına ihtiyacım var. Bunu yapmanın en etkili yolunu düşünmeye çalışıyordum.

Ben her şeyi gzip sonra rsync ve sıkıştırmasını açmak için vardı düşünceler, sıkıştırma için rsync -z güveniyor, gzip sonra rsync -z kullanın. Tam olarak nasıl rsync -z uygulandığından emin olmadığımdan hangisinin en verimli olacağından emin değilim. Hangi seçeneğin en hızlı olacağı konusunda herhangi bir fikriniz var mı?

Gzip yalnızca bir dosyayı sıkıştırırken "her şeyi gzip edemezsiniz", bir tar dosyası oluşturabilir ve "her şeyi gzip" olarak gzip edebilirsiniz, ancak yalnızca değiştirilmiş dosyayı kopyalama yeteneğini kaybedersiniz.

Yani soru: rsync gziped veya rsync -z seçeneğine güvenmek gerekir dosya depolamak daha iyidir.
Yanıt muhtemelen dosyanın sunucunuzda açılmasını istememenizdir? Sanırım evet, bu yüzden rsync yapmadan önce gzip dosyasını nasıl yönetebileceğinizi göremiyorum.

Sadece değiştirilmiş dosyayı kopyalama yeteneğine ihtiyacınız olmayabilir mi? Bu durumda neden eşyalarınızı içeren bir tar.gz dosyasının bir scp yerine rsync kullanmak?

Her neyse, soruyu cevaplamak için, rsync gzip, gzip ile gziping dosyasından biraz daha az verimli olacaktır. Neden ? rsync, veri yığınlarını yığın olarak gzipleyeceğinden, gzip'in sıkıştırma yapmak için kullandığı tabloyu oluşturmak için daha küçük bir veri kümesi kullanılır, daha büyük bir veri kümesi (gzip tüm dosyayı bir kerede kullanır) daha iyi bir sıkıştırma tablosu verir. Ancak fark çoğu durumda çok çok küçük olacaktır, ancak çok nadir durumlarda fark daha önemli olabilir (dosyada birçok kez yinelenen ancak birbirinden uzakta çok uzun bir parantez içeren çok büyük bir dosyanız varsa) (Bu çok basitleştirilmiş bir örnek)

Verileri yalnızca bir kez kopyalıyorsanız, rsync kendi başına büyük bir kazanç olmayacaktır. Gzip'i (veya tar + gzip'i, birçok dosyanız olduğu için) beğendiyseniz, şöyle bir şey deneyebilirsiniz:

tar -cz /home/me/source/directory | ssh target tar -xz --directory /home/you/target/directory

Bu, aradığınız sıkıştırmayı alır ve rsync içermeden doğrudan kopyalar.

@radius, nasıl gzipçalıştığını seçmek için küçük bir nit - gzipblok tabanlı bir sıkıştırma algoritması ve bu oldukça basit bir algoritmadır. Tüm dosya sıkıştırma tablosu için dikkate alınmaz - yalnızca her blok. Diğer algoritmalar dosyanın tüm içeriğini kullanabilir ve birden çok bloğun veya hatta değişken boyutlu blokların içeriğini kullanan birkaç tane olabilir. Büyüleyici bir örnek, lrzipaynı yazar tarafından rsync!

Sıska gzipalgoritması .

Yani, özet olarak, kullanmak rsync -zmuhtemelen ilk sıkıştırma ile aynı sıkıştırmayı verecektir gzip- ve diferansiyel aktarımı yapıyorsanız, farklı rsyncalgoritma nedeniyle daha iyi .

Bununla birlikte, birinin diferansiyel olmayan transferler için düzenli olarak scpatıyor olduğunu düşünüyorum rsync- çünkü rsyncalgoritmanın algoritmasından çok daha az ek yükü olacak ( scpyine de başlık altında kullanacak !)

Ağ Eğer gelmez bir darboğaz haline, o zaman telin üzerinde sıkıştırma kullanmak istersiniz.

Senin Eğer diskler tıkanıklık olan bir sıkıştırılmış dosya içine akışı iyi olurdu zaman, bu. (örneğin, netcatbir makinenin sonraki, akış halinde için gzip -c)

Genellikle, hız önemliyse, mevcut bir dosyayı önceden sıkıştırmak boşa gider.

TIMTOWTDI, YMMV, IANAL, vb.

Bu adama göre, kullanımı daha hızlı olabilir rsync -z, ancak aktarmadan önce her dosyayı sıkıştırmak kadar verimli olacağını tahmin ediyorum. Diğerleri tarafından önerildiği gibi katran akışını sıkıştırmaktan daha hızlı olmalıdır.

Man sayfasından:

          Note  that  this  option  typically  achieves better compression
          ratios than can be achieved by using a compressing remote  shell
          or  a  compressing  transport  because it takes advantage of the
          implicit information in the matching data blocks  that  are  not
          explicitly sent over the connection.

Sıkıştırılmış dosya ve rsync'nin her iki scp de çok benzer aktarım süreleri alacağından, "bunu yapmanın en etkili yolu" sıkıştırmak, aktarmak yerine anında sıkıştırma olacaktır.

"Haslık" yanı sıra diğer hususlar:

Tüm dosyalar aktarılmazsa rsync kolayca yeniden başlatılabilir.

rsync, uzak makinedeki dosyaları korumak için kullanılabilir.

yerel katran veya gzip yerel alan gerektirir.

Hem hedef makine hem de güvenlik duvarları için bağlantı noktası kullanımında dikkat edilecek noktalar: 1) scp, kabul edilemeyecek 22 numaralı bağlantı noktasını (varsayılan olarak) kullanır. 2) rsync kullanıcıları bağlantı noktası 873 (varsayılan olarak)

Yarıçapın neden orijinal posterin sıkıştırılmamış dosyaların depolanmasını istemediğinden emin değilim.