ABD'den İngiltere'ye veri merkezlerine 10 TB dosya aktarın

Sunucumu ABD'den İngiltere'ye bir veri merkezinden diğerine geçiriyorum. Ev sahibim saniyede 11 megabayt alabileceğimi söyledi.

İşletim sistemi her iki ucunda da Windows Server 2008'dir.

Ortalama dosya boyutum 100 MB civarında ve veriler beş 2 TB sürücüye bölünmüş durumda.

Bu dosyaları aktarmak için önerilen yol nedir?

• FTP
• SMB
• Rsync / Robocopy
• Diğer?

Bunlar zaten halka açık dosyalar olduğu için güvenlik konusunda fazla sıkılmıyorum, ancak toplam aktarım süresini en aza indirmek için tam 11 MB / sn aktarım hızını zorlayabilecek bir çözüm istiyorum.

Yerine sabit diskleri okyanusa gönderin.

Tam kullanımı olan 11 Mb / s hızında, 10 TB aktarmak için sadece 90 günlük utangaçlığa bakıyorsunuz.

11 Mb / sn = 1.375 MB / sn = 116.015 GB / gün .

10240 GB / 116.015 GB / gün = ~ 88.3 gün .

Rsync diyebilirim, 11 MB / s'de 10-14 güne bakarsınız ve kesintiye uğrasanız bile, rsync son durduğunda kolayca başlayacaktır.

11 Mb / sn'de sabit diskleri yukarıda önerildiği gibi gönderirim :)

Tabii ki Rsync.

En azından bir aradan sonra istediğiniz zaman devam edebilirsiniz, ve hiçbir acısız.

Asla bantlarla dolu bir vagonun bant genişliğini küçümsemeyin

- Trad.

Senin durumunda, kurye tarafından gönderilen diskler veya bantlar, ancak ilke hala geçerli. Gecikme konusunda endişelenmiyorsanız, bu, 10 TB veriyi makul bir sürede aktarmak için ağ bant genişliğinden çok daha ucuz olacaktır.

Rsync kullanmalısın. Bu olacak sıkıştırmak veri ve de-yinelenen göndermeden önce. Ayrıca, herhangi bir büyük aktarım için çok önemli olan kısmi aktarımlara devam edebilir.

10 TB aktarmıyor olması muhtemel; günlükleri ve metinleri varsa ve 1 TB'nin altında olabilirse; belki de 1 TB'nin altında.

Sıkıştırma işini rsync'ten daha iyi yapan ve muhtemelen daha fazla eşleşme bulabilen araçlar var. Kullanabilirsiniz lrzip, vb.

Örneğin, videolarda ve diğer medyalarda, iyi sıkıştırılmayan ve değişmeyen kopyalar içermeyen belirli veri türleri vardır. Bu gibi durumlarda, FTP ve rsync aynı çabayı gösteriyor.

Bunun zaten kabul edildiğini biliyorum ama disklerinizi daha fazla bant genişliği alabileceğiniz bir veri merkezine / sağlayıcısına / sunucusuna götürmeyi düşündünüz mü? Muhtemelen bir miktar paraya mal olur, ancak 10240Gb'yi yedekleme disklerine kopyalamak ve göndermek de hem zamana hem de paraya mal olur (2 x para).

Ayrıca disklerinizin taşınmada kırılmadığından emin olacaksınız.

11Mbps? Bu, burada sahip olduğunuz oldukça sınırlı. Sizin durumunuzda basitçe:

• Verileri klonla
• Sıkıştır
• Her iki uçta da kiralık sunucular en az 10 kat daha fazla bant genişliğine sahip (aynı veri merkezlerinde veya sizin tarafınızdaki bir veri merkezinde).
• Dosyaları aktar
• Verileri yeni sunucuya uygulayın.

Bant genişliğini artırmak için gerçekten bir çözümünüz yoksa ... Fiziksel bir sürücünün gönderilmesi çok daha hızlı olacaktır.

Acı verici bir deneyime göre, sabit sürücüler postaları kırmaya meyilli ... USB flash sürücüler sık ​​veri aktarımı için daha iyi bir çözümdür. Sizin durumunuzda bunlardan bir kaçını gerektirecektir :) Dolayısıyla, verilerinizin 2 kopyasını birden fazla sabit sürücüye gönderin.

Elinizde bulunan veri miktarını göz önünde bulundurarak, sürücülerinizi takmak için diğer tarafta aynı donanım / yazılıma sahipseniz RAID 5 veya RAID 6 dizisinden sürücüler de gönderebilirsiniz. Ancak bu durumda sürücülerinizin sırasını işaretlemeyi unutmayın. ve seri numaraları, böylece yeniden yapılandırırken karışık olmazlar.

Bu durumda “harddrives kullanarak gönder” cevabını kabul etmek zorunda kalsam da, burada ilk defa büyük miktarda dosyayı kopyalamak zorunda kaldığım bir kopya çözümü:

rsyncİki veri deposunu senkronize tutmak iyi olmakla birlikte , ilk transfer için biraz gereksiz ek yük getirmektedir. En hızlı yolun tarhangi yoldan boruya geçtiğini anladım netcat. Alıcı bünyesinde ayrıca kullanabilirsiniz netcatiçinde dinlemek hangi bir açılan hale boruları gelen verileri modu tar. Bunun yararı, tarhemen göndermeye başlaması ve netcatfazladan üst düzey protokol ek yükü olmadan düz TCP akışı olarak göndermesidir . Bu olabildiğince hızlı olmalıdır. Ancak, son konumda kesintili bir aktarımı yeniden başlatmak mümkün değildir.

Doğru tarseçenekleri kullanarak transfer için verileri sıkıştırmak veya borularda bir sıkıştırma aracı eklemek de kolayca mümkündür . Not netcatşifrelenmemiş tarihini gönderir. Bunun bir seçenek olmadığı durumlarda, sshbunun yerine şifreli bir bağlantı kullanılabilir ( tar <options> | ssh <target> -c 'tar -x <options>').

Tüm veriler aktarılırsa rsync, bu sırada güncellenen tüm dosyaların senkronize edilmesini sağlamak için kullanılabilir. Ayrıca IIRC tar, aksi takdirde kaybolacak soketler oluşturmaz, ancak yine de veri merkezi verileri için kullanılmaz.

Eğer düşündünüz mü IPoAC ?

Tek bir güvercin, yaklaşık bir saatte onlarca gigabayt veriyi taşıyabilir; bu da ortalama bant genişliği temelinde, kayıp sürücüler için geçerli olsa bile, mevcut ADSL standartlarına göre oldukça olumlu bir karşılaştırma yapar.

Yine, ilk öneri sürücüleri sevk etmektir.

İkinci öneri SSH üzerinden değil, rsync kullanmaktır. Birçok şey denedim ve genellikle en hızlısı. Sıkıştırmayı açmayı unutmayın. Ayrıca, en uygun aktarım hızını elde etmek için rsync tampon boyutunu arttırma veya azaltma konusuna bakın . Ayrıca MTU boyutunu büyütmenize yardımcı olabilir . Bu, yalnızca rotadaki yönlendiriciler paketlerinizi parçalara ayırmazsa yardımcı olur. Yapıp yapmadıklarını belirlemenin yolları var.

Ne yazık ki, her zaman en iyi olan ayar yoktur. Durumunuzda en iyi sonucu bulmak için deneme yapmanız gerekecektir.

Sunucuların Windows 2008 çalıştırdığını belirttiniz. Microsoft DFS uygun olur mu? Alt uçta bağlantıdan mümkün olduğunca fazla bant genişliği almayı deneyen ve ayrıca sıkıştırma ve çoğaltma işlemine (IIRC) sahip bazı sihirler vardır.

Dikkat edin, sabit diskler, DVD'ler veya BluRay'ler daha hızlı olurdu ... Hesaplamam tam 11 MB / sn'de 11 gün ...

Bunun için bir torrent kullanabilirsiniz.

Bir ucunda özel bir torrent oluşturun ve diğer ucunda istemciyi kullanın.

Yerinde şifreleme olsa da gereksinimlerinizi kontrol etmelisiniz.