Ağ üzerinden 20 TB veri aktarmak için hangi programı kullanmalıyım?

20TB veri bir yıldırım dizi kopyalamak gerekiyor. Verilerin bulunduğu kutuda yıldırım bağlantısı yoktur, bu nedenle bunun için yerel 1GB ağını kullanmam gerekecek. (Evet, sonsuza kadar sürecek).

Filezilla / sftp kullanmaya çalıştım, ancak kuyruk süper büyüdüğünde çöktü. Rsync veya scp gitmek için bir yol mu?

rsync gitmek için iyi bir yoldur (scp daha az özellik ile hemen hemen aynıdır). -ZZlib sıkıştırmasını etkinleştirecek seçeneği kullanmak isteyebilirsiniz . Sürücülerinizin / bilgisayarınızın hızına bağlı olarak, sıkıştırılmamış göndermekten daha hızlı olabilir, örneğin ağ bağlantınız doymuşsa. Ayrıca -asimgeleri, izinleri ve oluşturma / değiştirme zamanlarını koruyacak ve dizinleri tekrar tekrar kopyalayacak arşiv modu seçeneğini de isteyebilirsiniz . Neleri kopyaladığınıza bağlı olarak, -Egenişletilmiş öznitelikleri ve mac kaynak çatallarını koruyan isteyebilirsiniz . Son olarak, --progresssize ilerleme bilgilerini gösterecektir.

Her ne kadar rsync kadar yaygın olmasa da, geçmişte bir araç çağrısı "mpscp" kullandım - http://www.sandia.gov/MPSCP/mpscp_design.htm

Sandia Ulusal Laboratuvarları'ndan, yakın sistemler arasındaki yüksek hızlı ağları doyurmak için özel olarak optimize edilmiş SSH üzerinden çalışan bir dosya kopyalama aracıdır (örneğin, aynı sitedeki iki süper bilgisayar arasında terabaytlarca veriyi 10 Gb + veya Infiniband üzerinden bağlanmış gibi). İyi çalışıyor, ancak kurulumu biraz acı olabilir. Testte, rsync'den 2x-3x daha hızlı çalıştığını kolayca gördüm.

Rsync kullanın ve rsyncd ile kullanmayı düşünün. Rsync'i rsyncd olmadan kullanırsanız, ssh kullanarak sıkışıp kalırsınız, bu da bir çeşit şifreleme kullanmak anlamına gelir. Muhtemelen verileri eski bir makineden daha yeni bir makineye kopyalıyorsunuz ve eski makinede, bir gigabit Ethernet bağlantısını doygun tutacak kadar hızlı iletim için verileri şifrelemek için CPU gruntı olmayabilir. Her iki yöntemi kullanarak dosya gruplarını aktarmayı test edin ve hangi yolun daha hızlı olduğunu görün.

Aynı nedenle, kullanmaya başlamadan önce rsync'in sıkıştırma seçeneğinin kullanımını test etmenizi öneririm. Sıkıştırma, eski donanımlarda denendiğinde gigabit Ethernet hızlarına ayak uyduramayan yoğun bir CPU yoğunluğudur. rsync, birinci dünya ülkelerinde bile insanların çoğu çevirmeli modem ile internete eriştiğinde yazılan on beş yaşında bir programdır. Ağ bant genişliği ve CPU değişimleri o zamandan çok farklıydı.

Bu 20 TB az sayıda büyük dosyada (video, canavar veritabanı gibi) veya milyonlarca daha küçük dosyada mı paketlenmiş?

Çok sayıda küçük dosya yeniden başlatma için rsync veya verimlilik için bir borulu katran akışı ile gidersem (lot için bir ağ bağlantısı, başarısız olursa baştan tekrar başlayın)

tar -cf - * | ( cd newhome; tar -xf - )

uzak klasör monte edilmelidir.

Yeni diziyi doğrudan farklı bir arayüzle ekleyebilir misiniz? Yerel rsync ssh kullanmaz, bu nedenle o hata noktasını kaldırırsınız. Evet, Firewire 800, gigabit ethernet'ten daha yavaştır, ancak ethernet'i% 100'e yükleyemezsiniz - firewire tarafından daha hızlı olabilir. FYI, kutular yeterince yakınsa firewire ağını da kurabilirsiniz. Arayüzü sistem tercihlerine ekleyin -> ağ.

Başka bir seçenek Bittorrent Sync'i denemek olacaktır ( http://www.bittorrent.com/sync ). WAN'daki aile üyelerimiz arasında aile fotoğraflarını ve videolarını senkronize etmek için kullandım, ancak yerel ağ için çalışmamasının bir nedeni yok. Eşler arası bağlantılar kullanır, bu nedenle veriler dropbox gibi bir şey kullanmaya çalıştığınız gibi bir sunucudan geçmeyecektir (20 TB dropbox alanınız olduğunu düşünüyorum veya bu kadar yüklemek için bu kadar beklemek istemiyorum veri!)

Ayrıca çoklu platformlarda da desteklenir, bu nedenle rsync ve tar'dan daha fazla esnekliğe sahiptir.