Otomatik eş bulma ile dizin senkronizasyonu

10

Amazon bulut otomatik ölçeklendirme özelliğinin ( dokümantasyon ) arkasında oturan bir Linux sunucu kümesiyle çalışıyorum . Her sunucuda biriken dosyalar vardır, bunlar uygulama için önbellek dosyalarıdır. Ben sunucuları kendi aralarında bu klasörü senkronize etmek için otomatik bir yol arıyorum.

Rsync eğer akran tespiti yapmak için akıllıca bir yol olsaydı işe yarardı.
Aynı şey geçerli Unison.
Ayrıca Dropbox gibi bir SaaS kullanmayı düşündük.
Gluster aşırıya kaçmış gibi görünüyor ve yeni bir bilgisayarın kümeye otomatik olarak katılmasının ne kadar kolay olduğundan emin değilim.

İdeal olan, yeni bir sunucu başlatıldığında, eşlerinin keşfedilmesi ve klasörü senkronize etmeye başlamasıdır. O andan itibaren bu en son dosya damgası P2P senkronizasyonunu kazanır.

Dışarıda bunu yapan bir şey var mı?

linux rsync cluster

— Caleb
kaynak

Bu, akran tespiti yapmaz, ancak ne olursa olsun ilgi çekici olabilir - mrsync.sourceforge.net .

— Faheem Mitha

1

Kulağa tuhaf gelebilir, ancak özel ec2 aralığında DHT etkinken rtorrent kullanmak işe yarayabilir

Bu sana

Otomatik Akran bulma
Doğrulanmış dosya durumları (karma için yay)
Minimum yapılandırma gereksinimleri (başlangıç komut dosyasındaki torrent için mıknatıs (veya en son torrent için sanal ip) ekleyin)
ölçeklenebilirlik

— Tacticus
kaynak

1

Rsync upstream, SLP (Hizmet konum protokolü) için destek sağlar. Vanilya rsync kaynaklarında etkin değildir, ancak rsync ana sayfasında (slp.diff) rsync yamaları tarball'da SLP desteğini bulabilirsiniz. Örneğin SUSE rsync paketi bu yama ile oluşturulmuştur; Diğer dağılımları bilmiyorum.

Aradığın şey olduğundan emin değilim ama SLP ile ilgili herhangi bir deneyimim yok.

— Petr Uzel
kaynak

0

Belki burada bir şey eksik, ama sadece basit bir NFS dizini kurmak ve sadece tüm makineleri bu monte var bir nedeni var mı? Uygulama yeni önbellek dosyasını her yazdığında, eskisinin üzerine yazması gerekir.

— opsguy
kaynak

1

Merhaba opsguy. Eksik olan NFS'li makine arızalandığında ne olur? Önbellek için tek hata noktasını ortadan kaldırmaya çalışıyoruz.

0

Özel veya genel IP adresleri aracılığıyla düğümlerin birbirlerini keşfetmesini sağlamak için bir önyükleme komut dosyası yazmanıza izin veren Komut Satırı Araçları gibi bazı Amazon yönetim aracı olduğundan eminim .

Bu arada, rsync ve Unison, değişiklikleri önbelleğe çok sık dağıtmaları gerekiyorsa, doğru araç değildir. Bu durumda, gerçekten dağıtılmış bir dosya sistemini düşünmelisiniz.

— Marco Solieri
kaynak

0

Belki DRBD (dağıtılmış blok cihazı)?

— MSpike
kaynak

1

Cevabınız için teşekkürler, ancak madde içermiyor. DRBD o kadar iyi bilinmemektedir ki en azından bir bağlantı gerektirmez. Ama gerçekten, daha fazla bilgi vermelisiniz: DRBD neden uygundur? Nasıl çalışır? Özellikle Kevin'in Gluster'ın aşırı silahlı olduğunu düşündüğünü düşünürsek: DRBD neden olmasın?

— Gilles 'SO- kötü olmayı kes

Sadece otomatik akran bulma aradığınızı fark ettim, bu yüzden bu sizin için uygun değil. DRBD, gerçek donanımınızda veya birimin üst kısmında bulunan bir blok cihazdır ve bunları ağ üzerinden senkronize eder.

— MSpike