Büyük dosyaları LAN'daki birden çok makineye kopyalama

9

Bir Linux makinesinden yaklaşık 20 diğer Linux makinesine kopyalamam gereken birkaç büyük dosyam var, hepsi de mümkün olduğunca çabuk aynı LAN'da. Bu dosyaları kopyalamak için hangi araçların / yöntemlerin en iyi olacağını, bunun tek seferlik bir kopya olmayacağını belirterek. Bu makineler hiçbir zaman İnternet'e bağlı olmayacak ve güvenlik bir sorun teşkil etmeyecektir.

Güncelleme:

Bunu sormamın nedeni, (anladığım kadarıyla) şu anda scpdosyaları makinelerin her birine kopyalamak için seri olarak kullandığımız ve bunun "çok yavaş" olduğu ve daha hızlı bir alternatifin arandığı konusunda bilgilendirildi. Bana söylediklerine göre, scparamaları paralel hale getirmeye çalışmak , sabit disk aramaları nedeniyle daha da yavaşlatır.

linux file-sharing

— Jonathan Callen
kaynak

"Büyük" tanımlayın. Yüzlerce MB / GB / TB / daha fazlası?

— Janne Pikkarainen

Şu anda, toplam yaklaşık 4 GiB'de (sıkıştırılmış) oturuyor, ancak bu gelecekte büyüyebilir.

— Jonathan Callen

Yani, 2011 yılında bile - BÜYÜK DEĞİL. Doğru şekilde anahtarlanan (2011'de standart) 1gigabit bağlantı göz önüne alındığında, başarmak için oldukça fas. 10g sunucusunda çalıştırılıyor (2011'de bile nadir değil) ... iyi;)

— TomTom

27

BitTorrent. Twitter bazı şeyleri dahili olarak devreye alır.

http://engineering.twitter.com/2010/07/murder-fast-datacenter-code-deploys.html (web arşiv bağlantısı)

— mfinni
kaynak

3

Cevabımın yanı sıra (eğer uygulayabilirseniz iyi bir iş yapacağını düşünüyorum), NFS için aşağıdaki cevap çok iyi. İyi bir NFS sunucusu dosyaları önbelleğe almalıdır, böylece diske vurmaya devam etmezsiniz. Ayrıca, bununla, dosyaları kopyalamak değil gelen sunucuya kadar istemciler. İstemciden başlatın ve NFS sunucusunun önbelleğinin yardım etmesine izin verin.

— mfinni

1

Üretim dışı bir ortamda denediğinizden emin olun, sunumda (iirc), değiştirilen paket sayısı nedeniyle ilk dağıtımlarda bazı anahtarların çok fazla acı çektiğini söylediler.

— Shadok

1

@psusi Neden tüm verileri 20 kez göndermesi gerektiğini söylüyorsunuz? Diğer eşler dosyanın bir parçası olduktan sonra, sahip oldukları parçaları diğer eşlere kendileri göndermeye başlayabilirler.

— Jonathan Callen

2

OP için sorun LAN değil, merkezi sunucudaki disktir.

— mfinni

1

@pSusi - çok noktaya yayın kesinlikle geçerli başka bir yanıt olacaktır. Bunu bir cevap olarak gönder, cevabımı bir vuruş olarak değil.

— mfinni

12

Nasıl hakkında UFTP , aynı anda birden fazla müşteri için UDP üzerinden dosya sunmak için çok noktaya kullanır. Herkes için değil ve ben bu konuda uzman değilim ama kulağa ne istersen yapar.

— Chopper3
kaynak

1

Feragatname: Bu, çok noktaya yayını destekleyen ekipman gerektirir.

— user606723

Bunun aynı vlanda olmasını umuyordum - bu kullanımın etkisini azalttı.

— Chopper3

@ user606723: Her şey modern değil mi? Belki bazı tüketici önemsiz değil, ama bir süredir çok noktaya yayın kırık ile hiçbir şey karşılaşmadım. Bugünlerde çok fazla kullanıyor. Windows Active Directory'nin çok noktaya yayın bile kullandığını düşünüyorum.

— Zan Lynx

Aslında bu @ZanLynx ile hiçbir deneyimim yok. Birçok ofis / bilgisayar laboratuvarının son atlamada tüketici / yönetilmeyen anahtarlar kullandığını biliyorum. Bu anahtarlar çok noktaya yayın ile nasıl davranacak?

— user606723

3

Bu verileri ile kopyalamaya çalıştınız mı rsync? 1 Gbit LAN veya daha hızlı bir sürümünüz varsa, 4 * 20 GB'ın üzerinde kopyalama yapmak sorun olmamalıdır.

Bu kopya ne sıklıkta gerçekleşecek? İşlemin tamamlanması birkaç dakika sürebilir mi?

— Janne Pikkarainen
kaynak

3

scp-tsunami yolu bu!

https://code.google.com/p/scp-tsunami/

Genellikle disk görüntülerini sanallaştırma kümelerinde dağıtmak için kullanılır, performansları bittorrent'e yakındır, ancak günlük kullanım için kullanımı daha kolaydır.

— Giovanni Toraldo
kaynak

2

Bir NFS paylaşımının kurulması ve her makinenin bu büyük dosyaları paylaştığı repodan çekilmesi muhtemelen en hızlı yöntem olacaktır (NFS çok hızlıdır ve ek yükü azdır).

Kaynak sunucuya ek bir NIC veya iki tane ekleyebilir ve daha iyi verim elde etmek için bunları birbirine bağlayabilirsiniz.

Uygulama, her hedef sunucuda, her saat / gün / her neyse paylaşımdan körü körüne getiren basit bir cron işi olabilir. Ayrıca yeni dosyalar için anket oluşturmak üzere bir arka plan programı da oluşturabilirsiniz; Ayrıca, her hedef kutusuna SSH'ye (anahtar çiftleriyle) bir kontrol oturumu yazabilir ve komut dosyanızı yürütürken dosya getirmelerini isteyebilirsiniz.

— gravyface
kaynak

1

Selefimin bunun için NFS kullanmaya çalıştığına inanıyorum ve (o zaman) RAM önbelleğinin tüm aktarım için yeterince büyük olmadığını gördü, bu da sabit sürücüdeki yükün ağ yerine sınırlayıcı faktör olmasına neden oldu hız.

— Jonathan Callen