WAN üzerinden birkaç küçük küme için DFS

Arkadaşlarım ve ben hepimizin sistemimizde TBC’leri var. Ancak hiçbirimiz coğrafi olarak dağıtılmış tam bir yedeklememiz yoktur, çünkü bu miktarda veri, Dropbox, S3 ve diğerleri gibi çözümler. bizim için maliyet engelleyicidir. Ancak, her birimizin yerel depolama alanı fazladır. TBC'lerin her biri aslında kullanılmıyor.

Düşünmeye başladık: Eğer ana bilgisayarlarımızı bir çeşit Dağıtılmış Dosya Sistemi ile bağlayabilirsek, sahip olduğumuz depolama kapasitesinden daha fazla faydalanırken her biri eksiksiz veri setlerimizin coğrafi olarak dağıtılmış yedeklemelerini alabiliriz. Mükemmel bir çözüm ... düşünüyoruz.

1. En az üçümüz var. Proje meyve verirse kesinlikle 6 veya daha fazla.
2. Her birimiz 1-2 TB veriye sahiptir ve en azından bu kadarını yedekleyeceğiz.
3. Hepimiz WAN'a dağıldık.
4. Herhangi bir ev sahibinin, bulut hizmetine keyfi bir şekilde girip çıkma özelliğine ihtiyacımız var.
5. Gerçek (ish) zamanlı zaman senkronizasyonu. Aksi takdirde, haftada bir kez bira içip buluşup, dış HDD'lerle uğraşırdık.
6. F / OSS gerekli, ancak bol miktarda dirsek yağı var.
7. Bu süreçte dağıtılmış bir bilgisayar platformu kullanabilir / öğrenebilir / kaldırabilirsek, çok daha iyi.

OpenStack veya Hadoop'un üstüne bir Dropbox-esque arayüzü kurmayı düşünmeye başladık, ama dışarıda görmezden geldiğimiz başka alternatifler olup olmadığını duymak isterim. Belki de bizim durumumuz için daha basit bir çözüm var mı? Küme başına düşük düğüm sayısı göz önüne alındığında, bunun gibi bir şey mümkün mü?

Not: Doğal olarak ilk senkronizasyon / balanslama / transfer / etc en azından günler sürer, ancak bu kabul edilebilir.

FOSS değil, ancak crashplan bunun için oldukça iyi bir seçenek. Kurmak ve çalıştırmak için ölü basit, ama 3 4 ve 5 mükemmel işleyecektir. Kurulumu çok kolaydır; istemciyi kurun, kullanılabilir alanı ayarlayın ve bu alanı kullanmasına izin vermek istediğiniz kişileri ekleyin.

Ubuntu sunucusunda sshfs ve cron aracılığıyla basit bir rsync betiği kullandım. Her ana bilgisayar kendi özerkliğini koruyor (3 ana makinede yapılandırmamda kök erişimim olsa da) ve düğümler arasında ve hangi düğümlerin tam olarak denetlenebildiğini sık sık çoğaltıyor. Depolama miktarı bölüm veya kota yoluyla kontrol edilebilir, sadece 3 sunucuyu da kontrol ettiğim için bölüm seçtim. Bir dezavantaj, çoğaltma sıklığı (senkronizasyon) kontrolü eksikliği ile birlikte gelir. Bir ana bilgisayar sık ​​sık senkronize edilirse, özellikle wan genelinde anlık görüntüler kullanılıyorsa, aşırı bant genişliği kullanabilir. Başkalarıyla güzelce oynamak ve rsync komutlarında kbps sınırlarını kullanmak gerekir.