15 TB küçük dosya aktarma

Verileri bir sunucudan diğerine arşivliyorum. Başlangıçta bir rsyncişe başladım . Yalnızca 5 TB veri için dosya listesini oluşturması ve 1 TB veri aktarması için bir hafta daha harcadı.

Sonra yeni sunucuda biraz zamana ihtiyacımız olduğu için işi öldürmek zorunda kaldım.

Muhtemelen tekrar erişmemize gerek kalmayacağından anlaşmaya varmamız konusunda anlaşmaya varıldı. 500 GB'lık parçalara ayırmayı düşünüyordum. Ondan sonra tarsonradan kopyalayacağım ssh. Ben kullanıyordum tarve pigzama yine de çok yavaş.

Bunu yapmanın daha iyi bir yolu var mı? Sanırım her iki sunucu da Redhat'ta. Eski sunucu Ext4 ve yenisi XFS.

Dosya boyutları birkaç kb ile birkaç mb arasında değişmektedir ve 5TB'de 24 milyon jpeg vardır. Bu yüzden 15 TB için 60-80 milyon civarında tahmin ediyorum.

düzenleme: birkaç gün için rsync, nc, katran, mbuffer ve pigz ile oynadıktan sonra. Darboğaz disk GÇ olacak. Veriler 500 SAS diskinde ve yaklaşık 250 milyon jpeg arasında şeritli. Ancak şimdi, gelecekte kullanabileceğim bu güzel araçları öğrendim.

tar, pigz(Paralel gzip) ve kullanarak çok iyi sonuçlar aldım nc.

Kaynak makinesi:

tar -cf - -C /path/of/small/files . | pigz | nc -l 9876

Hedef makine:

Ayıklamak:

nc source_machine_ip 9876 | pigz -d | tar -xf - -C /put/stuff/here

Arşivi korumak için:

nc source_machine_ip 9876 > smallstuff.tar.gz

Eğer aracılığıyla aktarım hızını sadece boru görmek isterseniz pvsonra pigz -d!

Rsync çözümüne bağlı kalacağım. Modern (3.0.0+) rsync artan dosya listesini kullanır, bu nedenle aktarımdan önce tam liste oluşturmak zorunda değildir. Bu nedenle, yeniden başlatmak, sorun olması durumunda tekrar tüm transferi yapmanız gerekmeyecektir. Aktarımı üst veya ikinci seviye dizinine bölmek, bunu daha da optimize edecektir. ( Ağınız sürücülerinizden daha yavaşsa, kullanır rsync -a -Pve eklerim --compress.)

Bir VPN kurun (eğer internetse), uzak sunucuda bir formatta sanal bir sürücü oluşturun (ext4 yapın), uzak sunucuya monte edin , sonra bunu yerel sunucuya monte edin (iSCSI gibi bir blok seviyesi protokolü kullanarak ) ve aktarımı yapmak için dd veya başka bir blok seviyesi aracı kullanın. Daha sonra dosyaları sanal sürücüden, istediğiniz zaman gerçek (XFS) sürücüye kopyalayabilirsiniz.

İki sebep:

1. Ana performans suçlusu olan hiçbir dosya ek yükü yok
2. Aramak yok, her iki tarafta da sıralı okuma / yazma bakıyorsunuz

Eski sunucu kullanımdan kaldırılıyorsa ve dosyalar birkaç dakika boyunca çevrimdışı olabilirse, sürücülerin eski kutusundan çıkarılması ve yeni sunucuya bağlanması, çevrimiçi olarak takılması (şimdi çevrimiçi) ve dosyaların kopyalanması genellikle en hızlı yoldur. yeni sunuculara yerel diskler.

Mbuffer kullanın ve güvenli bir ağdaysa, şifreleme adımından kaçınabilirsiniz.

(Birçok farklı cevap işe yarayabilir. İşte bir diğeri.)

Dosya listesini find -type f(birkaç saat içinde bitmesi gerekir) ile oluşturun, küçük parçalara bölün ve her bir parçayı kullanarak aktarın rsync --files-from=....

Sinsi düşünmeyi düşündün mü? Bununla, her şeyi aynı sürücüye transfer etmek, sonra fiziksel olarak bu sürücüyü taşımak demek istiyorum.

Samsung, bir ay önce, bir SSD olan 16 TB'lik bir sürücüyü (teknik olarak 15.36 TB) açıkladı: http://www.theverge.com/2015/8/14/9153083/samsung-worlds-largest-hard aktarmalar-16 TB

Bence bu sürücü hemen bunun için yapacak. Hala tüm dosyaları kopyalamak zorunda kalacaksınız, ancak ağ gecikme süreniz olmadığından ve muhtemelen SATA veya benzer şekilde hızlı bir tekniği kullanabildiğiniz için, çok daha hızlı olması gerekir.

Veri tekilleştirme sırasında yüksek başarı oranı elde etmek için herhangi bir şans varsa, borgbackup veya Attic gibi bir şey kullanırdım .

Eğer değilse, netcat + tar + pbzip2 çözümünü kontrol edin, sıkıştırma seçeneklerini donanımınıza göre uyarlayın - tıkanıklığın (CPU? Network? IO?) Ne olduğunu kontrol edin. Pbzip2, tüm CPU'larda güzel bir şekilde yayılır ve daha iyi performans sağlar.

RedHat Linux kullanıyorsanız, bu geçerli olmaz, ancak başka bir seçenek olarak:

ZFS kullanarak, düğümler sorun olmadığından milyonlarca dosyayı tutmakta büyük başarı elde ettim.

Bu sizin için bir seçenek olsaydı, daha sonra anlık görüntüler alabilir ve artan güncelleştirmeleri göndermek için zfs kullanabilirsiniz. Arşivleme yöntemlerinin yanı sıra arşiv verilerini aktarmak için bu yöntemi kullanarak çok başarılı oldum.

ZFS, öncelikle bir Solaris dosya sistemidir, ancak illumlarda bulunabilir (Sun'ın OpenSolaris'in açık kaynaklı çatalı). BSD ve Linux altında ZFS kullanımında da bazı şanslar olduğunu biliyorum (FUSE kullanarak?) - ama bunu denememe dair hiçbir tecrübem yok.

rsyncHedef makinede bir cini başlat . Bu transfer işlemini çok hızlandıracak.

Bunu sadece tar ve ssh ile yapabilirsiniz:

tar zcf - <your files> | ssh <destination host> "cat > <your_file>.tar.gz"

Veya, tek tek dosyaları saklamak istiyorsanız:

tar zcf - <your files> | ssh <destination host> "tar zxf -"