Kıtalar arasında büyük miktarda veri aktarma [çoğalt]

Olası Çoğaltma:
Büyük dosyaları İnternet üzerinden paylaşmanın ücretsiz yolu?
İnterneti kullanmadan büyük dosyaları aktarmak için bazı seçenekler nelerdir?

Eşimin laboratuvarı burada ABD'de Singapur'da ortak çalışanlarla bir proje yapıyor. Bazen kıtalar arasında büyük miktarda yüksek boyutlu görüntü verisi (~ 10GB sıkıştırılmış) aktarmaları gerekir. Mevcut teknolojilerle, bu kullanım senaryosu için iyi bir çözüm ne olabilir?

Birkaçını düşünebilirim ama hiçbiri ideal görünmüyor:

• İnternet üzerinden doğrudan bağlantı: aktarım hızı yaklaşık 500 KB / sn'dir, ayrıca hataları / yeniden iletimleri ele alacak bir araçtan yoksundur.
• Dropbox gibi ortak bir sunucuya veya hizmete yükleme: ABD dışındaki ortak çalışanlar için yüklemek acı verici.
• Disk yazma veya HD'lere kopyalama ve Courier ile gönderim: gecikme süresi önemlidir, ayrıca yerel bir kopya oluşturmak için ekstra çalışma.

Herhangi bir öneri?

Güncelleme: İşbirliğinin iki tarafı da teknoloji meraklısı kullanıcılar değil.

Rsync kullanmanızı öneririm . Rsync, delta aktarım algoritmasını destekler, bu nedenle dosyalarınız kısmen değiştirilirse veya önceki aktarım anormal olarak sonlandırılırsa, Rsync yalnızca yeni / değiştirilenleri senkronize edecek kadar akıllıdır.

Orijinal Rsync'in Windows'a ve hem unix ile uyumlu olmayan diğer sistemlere hem ücretsiz hem de ücretsiz olmayan birkaç bağlantı noktası vardır. Bakınız Rsync Wikipedia makalesi detayları için.

SSH üzerinden Rsync çok yaygın olarak kullanılmaktadır ve iyi çalışır. 10GB günümüzde nispeten az miktarda veri ve "zaman zaman" ne anlama geldiğini belirtmediniz. Haftalık? Günlük? Saatlik? 500KB / sn aktarım hızı ile yaklaşık 6 saat sürecek, gerçekten uzun bir süre değil. Verileri sık sık aktarmanız gerekirse, rsync'i otomatik olarak başlatmak için bir cron görevi oluşturmak muhtemelen daha iyidir.

İnternet üzerinden bağlantı uygun bir seçenek olabilir ve bittorrent gibi bir program, bu amaç için tam olarak uygundur, çünkü dosyaları diğer uçta yeniden yapılandırılmak üzere internet üzerinden gönderilecek mantıksal parçalara böler.

Bittorrent ayrıca otomatik hata düzeltme, hasarlı parçaların onarımı sağlar ve daha fazla kişi dosyalara ihtiyaç duyuyorsa, dosyayı indirilen dosyaya (parçalarının) sahip olduğu kadar çok kaynaktan temin edebilme avantajına sahip olacaklar.

Verilmiş insanlar bunu film indirmek için güzel bir yol olarak görüyorlar, ancak daha birçok yasal kullanımı var.

Birçok bittorrent istemcisi de izleyicilere sahiptir, böylece dosyaları barındırmak için özel bir sunucuya sahip olmanız gerekmez.

Dosyayı örn. 50MB boyutunda bölün (örn split. Kullanarak ). Hepsi için sağlama toplamlarını hesaplayın (örn. md5sum). Doğrudan FTP ve lftpLinux gibi hataya dayanıklı bir FTP istemcisi kullanarak yükleyin . Tüm parçaları ve tüm sağlama toplamlarını içeren bir dosyayı aktarın.

Uzak sitede, tüm parçaların istenen sağlama toplamına sahip olduğunu doğrulayın, başarısız olanları yeniden yükleyin ve orijinal dosyaya yeniden birleştirin (örn. Kullanarak cat).

Sunucunun konumunu geri alma (Hedef sitenin sunucuyu sağladığı ve dosyalar hazır olduğunda aktarımı yerel olarak başlattığınız varsayımı altında gönderdim) gerektiği gibi. FTP istemciniz ilgilenmemelidir.

Geçmişte benzer sorunlar yaşadım ve hataya dayanıklı bir FTP istemcisi kullanarak çalıştı. Hiçbir bit çevrilmedi, sadece düzenli bağlantı iptal edildi, bu yüzden parçalar oluşturmayı atlayabilir ve sadece dosyayı yükleyebilirim. Her ihtimale karşı, dosyanın tamamı için bir sağlama toplamı sağladık.

Daniel Beck'in cevabının bir varyasyonu, dosyaları 50MB ila 200MB arasında parçalar halinde bölmek ve tüm set için eşlik dosyaları oluşturmaktır .

Artık dosyaları (eşlik dosyaları dahil) FTP, SCP veya başka bir şeyle uzak siteye aktarabilir ve tüm setin gelmesinden sonra bir kontrol yapabilirsiniz. Şimdi hasarlı parçalar varsa, yeterli bloklar varsa eşlik dosyaları tarafından düzeltilebilir. Bu, kaç veya daha fazla dosyanın zarar gördüğüne ve kaç eşlik dosyası oluşturduğunuza bağlıdır.

Eşlik dosyaları büyük dosyaları göndermek için Usenet'te çok kullanılır. Çoğu zaman RAR arşivleri olarak ayrılırlar. Bu şekilde 50 ila 60 GB'a kadar veri göndermek nadir değildir.

Kesinlikle ilk bağlantıyı kontrol etmelisiniz ve parite dosyaları oluşturmak için kullanılabilen bir araç olan QuickPar'a da bakabilir, indirdiğiniz dosyaları doğrulayabilir ve hatta sağlanan parite dosyalarıyla hasarlı dosyaları geri yükleyebilirsiniz.

Büyük bir 10GB dosya mı? Kolayca bölünebilir mi?

Ben bu kadar oynamadım, ama bu durumda işe yarayacak ilginç ve nispeten basit bir kavram olarak beni vurdu:

http://sendoid.com/

Verileri ftp / http / https / sftp / ftps (oturum açma kimlik bilgileri gerektirir) aracılığıyla kullanılabilir hale getirin ve istemci tarafında herhangi bir indirme yöneticisini kullanın .

İndirme yöneticileri, meydana gelebilecek hatalardan bağımsız olarak verileri almak için özel olarak tasarlanmıştır, böylece görevinize en uygun şekilde uyarlar.

Sunucuya gelince, bir FTP sunucusu genellikle kurulumu en kolay olanıdır. Wikipedia'da bir listeye başvurabilirsiniz . HTTPS, SFTP ve FTPS şifrelemeye izin verir (saf FTP / HTTP'de, parola açık metin olarak gönderilir), ancak SFTP / FTPS istemci yazılımı tarafından daha az desteklenir ve HTTP / HTTPS sunucu kurulumu zordur.