çok sayıda dosyayı aktarmanın en hızlı ve en güvenilir yolu nedir?

90gb toplam 100k dosya aktarmaya çalışıyorum. Şu anda rsync daemon kullanıyorum ama yavaş 3.4mb / s ve bunu birkaç kez yapmam gerekiyor. İnternet üzerinden 100mbit bağlantıyı en üst düzeye çıkaracak ve çok güvenilir olacak hangi seçeneklere sahip olduğumu merak ediyorum.

Sneakernet'i düşündünüz mü ? Büyük veri setlerinde bir gecede gönderim genellikle İnternet üzerinden aktarımdan daha hızlı ve daha ucuz olacaktır.

Nasıl? Veya TL; DR

Bulduğum en hızlı yöntem bir kombinasyonudur tar, mbufferve ssh.

Örneğin:

tar zcf - bigfile.m4p | mbuffer -s 1K -m 512 | ssh otherhost "tar zxf -"

Bunu kullanarak 1Gb bağlantılarda 950 Mb / s üzerinde sürekli yerel ağ aktarımları gerçekleştirdim. Aktardığınız öğeye uygun olması için her tar komutundaki yolları değiştirin.

Neden? mbuffer!

Büyük dosyaları ağ üzerinden aktarmada en büyük darboğaz, disk I / O'dur. Bunun cevabı mbufferya buffer. Büyük ölçüde benzerdirler, ancak mbufferbazı avantajları vardır. Varsayılan arabellek boyutu için 2 MB mbufferve için 1 MB'dir buffer. Daha büyük arabelleklerin asla boş kalmaması daha olasıdır. Hem hedef hem de hedef dosya sisteminde yerel blok boyutunun en küçük ortak katı olan bir blok boyutu seçmek en iyi performansı verecektir.

Tamponlama tüm farkı yaratan şeydir ! Eğer varsa onu kullanın! Eğer sahip değilseniz, alın! (m}?bufferArtı bir şey kullanmak tek başına her şeyden daha iyidir. neredeyse tam anlamıyla yavaş ağ dosya aktarımları için her derde devadır.

Birden fazla dosya aktarıyorsanız, tarbunları tek bir veri akışında "topaklamak" için kullanın . Tek bir dosyaysa catveya G / Ç yönlendirmesi kullanabilirsiniz. Bir havai tarvs. cathep kullanmak bu yüzden istatistiksel olarak anlamsız olduğu tar(ya da zfs -sendnerede can) zaten bir sürece tarball . Bunların hiçbirinin size meta veri vereceği garanti catedilmez (ve özellikle vermez). Meta veri istiyorsanız, bunu sizin için bir egzersiz olarak bırakacağım.

Son olarak, sshbir taşıma mekanizması için kullanmak hem güvenlidir hem de çok az ek yük taşır. Yine, bir havai sshvs. ncistatistiksel önemsizdir.

"Rsync" den bahsediyorsunuz, bu yüzden Linux kullandığınızı varsayıyorum:

Neden tar veya tar.gz dosyası oluşturmuyorsunuz? Bir büyük dosyanın ağ aktarım süresi birçok küçük dosyadan daha hızlıdır. İsterseniz bile sıkıştırabilirsiniz ...

Sıkıştırmasız katran:

Kaynak sunucuda:

tar -cf file.tar /path/to/files/

Sonra alıcı uçta:

cd /path/to/files/
tar -xf /path/to/file.tar

Sıkıştırmalı katran:

Kaynak sunucuda:

tar -czf file.tar.gz /path/to/files/

Sonra alıcı uçta:

cd /path/to/files/
tar -xzf /path/to/file.tar.gz

(Tar | tar.gz) dosyalarının gerçek aktarımını yapmak için rsync'i kullanmanız yeterlidir.

Burada açıklanan tarve sshhile deneyebilirsiniz :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "dd of=/backup/wwwdata.tar.gz"

bu aşağıdakiler için yeniden yazılabilir olmalıdır :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "tar xvf -"

Bununla birlikte, sürecin --partialözelliklerini kaybedersiniz rsync. Dosyalar çok sık değişmezse, yavaş bir baş rsyncharfle yaşamak , gelecekte çok daha hızlı gideceği için oldukça değerli olabilir .

Rsync'in çeşitli sıkıştırma seçeneklerini kullanabilirsiniz.

-z, --compress              compress file data during the transfer
     --compress-level=NUM    explicitly set compression level
     --skip-compress=LIST    skip compressing files with suffix in LIST

ikili dosyalar için sıkıştırma oranı çok düşüktür, bu nedenle --skip-sıkıştır örneğin iso, arşivlenmiş ve sıkıştırılmış tarballlar vb. kullanarak bu dosyaları atlayabilirsiniz.

Ben büyük bir SFTP hayranıyım. Medyayı ana bilgisayarımdan sunucuma aktarmak için SFTP kullanıyorum. LAN üzerinden iyi hızlar elde ediyorum.

SFTP güvenilirdir, kurulumu kolay olduğu için bunu denerim ve bazı durumlarda daha hızlı olabilir.