Linux'tan Linux'a, 10 TB transfer?

9

Önceki tüm benzer sorulara baktım, ancak cevaplar her yerde görünüyordu ve hiç kimse çok fazla veri taşıyordu (100 GB 10 TB'den farklı).

Bir RAID dizisinden diğerine, gigabit Ethernet, ücretsiz ansiklopedi, XFS dosya sistemlerine geçmem gereken yaklaşık 10 TB var . En büyük endişem transfer yarıda ölmek ve kolayca devam edememek. Hız iyi olurdu, ancak aktarımın sağlanması çok daha önemlidir.

Normalde sadece tar & netcat olurdu, ama taşındığım RAID dizisi geç olduğu için süper lapa lapa oldu ve orta süreç düşerse kurtarma ve devam edebilmem gerekiyor. Rsync'e bakmalı mıyım?

Buna biraz daha baktığımda, rsync'in çok yavaş olabileceğini düşünüyorum ve 30 gün veya daha fazla sürmekten kaçınmak istiyorum . Şimdi netcat ile aktarımın nasıl izleneceği / devam ettirileceği konusunda öneriler arıyorum .

— lostincode
kaynak

Bazen büyük dosya aktarımları yapmalıyım (10TB değil;) rsync'in birçok bayrağı vardır, bunlardan bazıları büyük bir dosya aktarımının performansını etkileyebilir (bence --checksum ve --archive, örneğin sizi yavaşlatabilir. 10 TB aktarırken büyük bir fark yaratacaktır.). Herkes böyle büyük bir dosya aktarımının performansını optimize etmek için iyi seçenekler önerebilir mi? Ayarlama --block-size=SIZEyardımcı olur mu?

— Stefan Lasiewski

ssh yükünü kaldırmak için yine de var mı?

— lostincode

1

alıcı ucunda rsyncd kurmak? ssh için gerek yok

— cpbills

3

Alıcı tarafta ve gönderen tarafta istemcide bir rsync arka plan programı çalıştırın.

— sonraki duyuruya kadar duraklatıldı.

2

Bir tarafta bir rsync arka plan programı kuramazsanız ve SSH ile sıkışırsanız, daha az iyi şifreleme ile şifreleme yükünü azaltabilirsiniz: rsync -avz -e 'ssh -c arcfour' SOURCE DEST

— David

14

evet, rsync

Oddball dışında, asenkron özellikler DRBD yakın zamanda çıktı.

— cagenut
kaynak

1

Rsync için +1. Linux üzerinde sistemden sisteme transferlerin kralı.

— grufftech

+1, rsync (ve Windows muadili DeltaCopy), verimli sunucudan sunucuya genel dosya çoğaltmasının sonudur.

— Chris S

1

Rsync için +1, ancak rsync veya SSH protokolü ek yükü yerine bir NFS montajı üzerinde "yerel olarak" yapmanın daha hızlı olabileceğini ekleyeceğim.

— James Sneeringer

2

Bantlarla dolu bir istasyon vagonunun bant genişliğini asla küçümsemeyin. 10 TB (nispeten 2 TB) parçalara ayırabiliyorsanız, nispeten ucuz tüketici sınıfı NAS ekipmanıyla mümkün olacaktır. Bu bir defalıksa, yarı manuel bir işlem uygulanabilir ve 2 TB NAS sadece birkaç yüz dolar olabilir.

Devam eden bir işleme ihtiyacınız varsa, ilk aktarımı yaptıktan sonra RSYNC'yi ayarlayabilirsiniz.

— ConcernedOfTunbridgeWells
kaynak

Orijinal soru, bunun zaten yerel bir ağ üzerinde olduğunu belirtti.

— Ladadadada

1

Bu OP'nin amaçları için çok yavaş ve / veya güvenilmez gibi görünüyor.

— ConcernedOfTunbridgeWells

2

Birkaç ay önce bu tür bir görev yapmak zorunda kaldım. İşlemi hızlandırmak için paralel rsync kullandım. Parçalar halinde aktarılacak / senkronize edilecek dosyaları böler ve herhangi bir zamanda devam ettirilebilir. Paralel rsync betiği için aşağıdaki bağlantıya bakın.

https://gist.github.com/rcoup/5358786

— Pierre Bergdolt
kaynak

0

Kopyalanacak verilerle sunucuda bir FTP sunucusu kurmayı deneyebilir ve alıcı uçta "özgeçmiş" olan bir FTP istemcisi kullanabilirsiniz. Filezilla sunucusunu ve istemcisini kullanıyorum ve istemcinin "özgeçmiş" özelliğini sık sık kullanıyorum ve her zaman sorunsuz bir şekilde çalıştı.

— jamesbtate
kaynak