Bir sunucudan diğerine yaklaşık 300GB dosya aktarımı

Bugün yeni bir sunucuya aktardığım yaklaşık 200.000 dosyam var. Daha önce bu kadar büyük ölçekte hiçbir şey yapmadım ve bu konuda nasıl ilerlemem gerektiği konusunda bazı tavsiyeler almak istedim. Onları iki Centos 6 dağıtımı arasında taşıyorum ve bunlar ülkenin farklı yerlerinde. Orijinal sunucuda tüm dizinleri ve dosyaları tek bir büyük tarball'a katlamak için yeterli HDD alanım yok, bu yüzden sorum şu tüm bu dosyaları nasıl aktarmalıyım? rsync? rsync kullanmanın özel bir yolu var mı? Nasıl yapılacağı ile ilgili herhangi bir girdi / öneri şaşırtıcı olurdu.

Teşekkürler

EDIT: merak edenler için, böyle screenbüyük bir rsynckomut çalıştırırken bir kullanmanızı öneririz . Özellikle aptalca bir şey meydana geldiğinde ve rsynckomutu çalıştırdığınız A sunucusuyla olan bağlantınız kesildiğinde . Ardından ekranı ayırın ve daha sonra devam ettirin.

Sadece Simon'un eti dışarı cevabı , rsyncbu iş için mükemmel bir araçtır:

   Rsync  is  a  fast  and extraordinarily versatile file copying
   tool.  It can copy locally,  to/from  another  host  over  any
   remote  shell,  or to/from a remote rsync daemon.  It offers a
   large number of options  that  control  every  aspect  of  its
   behavior  and permit very flexible specification of the set of
   files to be copied.  It is famous for its delta-transfer algo‐
   rithm,  which reduces the amount of data sent over the network
   by sending only the differences between the source  files  and
   the  existing  files in the destination.  Rsync is widely used
   for backups and mirroring and as an improved copy command  for
   everyday use.

Uzak makineye ssh erişiminiz olduğunu varsayarsak, böyle bir şey yapmak istersiniz:

rsync -hrtplu path/to/local/foo user@remote.server.com:/path/to/remote/bar

Bu dizin kopyalar path/to/local/fooiçin /path/to/remote/baruzak sunucuda. Adlı yeni bir alt dizin bar/foooluşturulacaktır. Yalnızca bir dizinin içeriğini , hedefte o adda bir dizin oluşturmadan kopyalamak istiyorsanız , bir eğik çizgi ekleyin:

rsync -hrtplu path/to/local/foo/ user@remote.server.com:/path/to/remote/bar

Bu işlemin içeriğini foo/uzak dizine kopyalar bar/.

Alakalı birkaç seçenek:

 -h,                         output numbers in a human-readable format 
 -r                          recurse into directories
 -t, --times                 preserve modification times
 -p, --perms                 preserve permissions
 -l, --links                 copy symlinks as symlinks
 -u, --update                skip files that are newer on the receiver
 --delete                    delete extraneous files from dest dirs
 -z, --compress              compress file data during the transfer
 -C, --cvs-exclude           auto-ignore files in the same way CVS does
 --progress                  show progress during transfer
 --stats                     give some file-transfer stats

Ne kadar hızlı kopyalanması gerektiğine ve kullanılabilir bant genişliğine bağlıdır.

Kötü bir ağ bağlantısı için, bantlarla dolu bir kamyonun bant genişliğini göz önünde bulundurun. (Oku: 2,5 inç HDD gönderin veya sadece kendiniz sürün. 300 gigabit sürücülerin bulunması kolay olmalıdır).

Daha az zaman kritikse veya bol miktarda bant genişliği varsa, rsync harikadır. Bir hata oluşursa, önceki dosyaları yeniden kopyalamadan devam edebilirsiniz.

[Düzenle] Verileriniz kopyalama sırasında kullanılırsa rsync'i birkaç kez çalıştırabileceğinizi eklemeyi unuttum.

Örnek:
1) Kullanılan veriler. Rsync -> Tüm veriler kopyalanır. Bu biraz zaman alabilir.
2) rsync'i tekrar çalıştırın, sadece değiştirilen dosyalar kopyalanır. Bu hızlı olmalı.

Değişiklik kalmayana kadar bunu birkaç kez yapabilir veya kopyalama sırasında verileri salt okunur yaparak akıllı / güvenli bir şekilde yapabilirsiniz. (örneğin, salt okunur olarak paylaşılan kullanılmış bir paylaşılan kümedeyse veya verileri yeniden senkronize ederseniz, geceleri ikinci kez çalıştırırken paylaşımı salt okunur olarak ayarlayın).

Ben rsync için gitmek istiyorum! Sunucumu bir site dışı sunucuya yedeklemek için kullanıyorum ve iyi çalışıyor. Genellikle kopyalanacak birkaç MB var ama bazı günler 20-30GB'a kadar çıkıyor ve her zaman sorunsuz çalıştı.

Gigabit bağlantısı kullanan NFS üzerinden rsync yaklaşık 10 saat sürecek. HDD'ye veri kopyalamak ve sunucu arasında taşımak daha iyi olacaktır. Aslında diskin bire bir kopyasını almanız gerekiyorsa, diskin ham görüntüsünü oluşturmak için dd veya bunun gibi bir şey kullanın. Ssh (scp) kullanmak büyük bir ek yüke neden olur. Gigabit bağlantısında ampirik olarak test edilmiştir. rsync, HA veya yedekleme modunda kullanılan iki sunucu arasında artımlı senkronizasyon yapmakta iyidir. Sanırım.

ilk kez NFS ve tar / untar kullanın (NFS bu durumda en hızlı protokoldür, daha fazla CPU kullanımı ile ağ bant genişliğini korumak için tar)

tar cf - * | ( cd /target; tar xfp -)

bir dahaki sefere rsync kullan