Veri merkezleri arasında paylaşım / ev


15

Hollanda ve Fransa'daki veri merkezlerine yerleştirilen iki sunucum var. Her ikisi de Debian Wheezy kullanıyor. İyi performansla aralarında paylaşmam / eve gitmem gerek Sunucularda 300-şey kullanıcı var, bunların yaklaşık 30'u belirli bir sunucuda belirli bir zamanda aktif süreçlere sahip olmalı, her biri 50 kbit okuma ve 20 kbit yazma / saniye, 2000 kbit / s okuma. yerel depolamada iotop ile önlemler. Çok sayıda küçük dosyam var, toplamda yaklaşık 500000 ve mümkün olduğunca düşük gecikme süresine ihtiyacım var. Sunucular arasında ping 17 ms'dir ve scp ve wget kullanırken bağlantı yaklaşık 20-30 MB / s'ye ulaşabilir. Görünüşe göre çok fazla bant genişliği olması gerekiyor, ama ...

Şimdiye kadar doğruladıklarım: sshfs: nfs'den daha iyi bir performansa sahip gibi görünüyordu, ancak dosyaların köklerini izinlerini değiştirdi ve uygulama çökmesine neden oldu.

nfs: Yavaşlamanın yolu, çoğu zaman başka bir seçenek denedi, ancak sadece birkaç süreç aktif olsa bile halsiz davranmaya devam ediyor.

drbd: 5 saatlik çıkmaz iş, aslında dosya sistemini her iki sisteme de bağlayamadığımı fark ettiğimde :-(

glusterfs: Tüm verilerin yerel bir kopyasına sahip olmak gerçekten umut vericiydi, ancak rastgele dosya erişimi gerçekten yavaş ve bir süre çalıştıktan sonra inanılmaz derecede yavaş ve neredeyse asılıyor. noatime yardımcı olmaz.

nfs tekrar: Hala halsiz.

Klavyeye ağlama: Hiçbir gelişme yok.

Sonra ne denemek? Başarısız denemelerin her biri geçen hafta boyunca bir akşam ya da daha fazla sürdü ve gerçekten bir sonraki çalışmanın yöntemini istiyorum. Ve evet, dosya sistemlerinin her iki sunucu arasında paylaşılması çok önemlidir.

Bu sorunla ilgili yeni fikirler için teşekkürler.


6
"Klavyeye ağlama: Hiçbir gelişme yok." Tamam, benden +1 alır.
ceejayoz

Muhtemelen ya glusterfs ya da ceph isteyeceksiniz. Dağıtılmış bir dosya sistemi. Ayrıca, drbd'i birden çok kez monte edebilirsiniz, ancak sadece bir okuma-yazma ve yine de korkunç bir kötü fikir.
Sirex

Glusterf'leri denedim ve büyük dosyalarla harika çalışırken, küçük dosyaları okurken veya yazarken gerçekten yavaşlar. Glusterfs ile ilgili ortak bir sorun gibi görünüyor ve bunun için bir düzeltme bulamadım. Ben Ceph'e bakacağım. Denedin mi, kendin denedin mi?
user3850506

3
Dosya sistemi sürücüsünün destek blok cihazının herhangi bir zamanda keyfi olarak değişebileceğini anlamadığı sürece, aynı blok cihazı ve dosya sistemini monte etmek, farklı bir sistemde RO bile kötü juju olur. Blok cihaz değişebilir ve inode önbelleğini tamamen geçersiz kılabilir ve VFS artık düşündüğünüz yerde olmayan verileri mutlu bir şekilde okuyacaktır. GFS2 ve veritas gibi paylaşılan disk tanıyan dosya sistemleri bunu DRBD'de veya SAN benzeri bir diskte yapabilir. Küçük dosya performansınızın kabul edilebilir olacağını kesin olarak söyleyemem.
Andrew Domaszek

Yanıtlar:


2

Bunun için bazı olası çözümler var:

  1. DRBD (veya yukarıda belirtildiği gibi MARS) gibi çoğaltılmış bir blok depolamaya gidebilirsiniz, ancak blok depolamanın üstüne bir küme dosya sistemi kurmanız gerekir. Bu tür dosya sistemleri, her ikisi de Debian çekirdeği afaik'te bulunan GFS2 veya OCFS2 olabilir. DRBD birincil / birincil işleyebilir ve aynı anda her iki sunucuya da monte edebilirsiniz. Ancak bunu standart bir dosya sistemiyle yaparsanız, bir sunucu diğerini bilmez ve dosya sisteminizi birkaç saniye içinde yok edersiniz. Üstteki bir küme dosya sistemi, her iki düğümün de aynı bloğa yazabilmesi için iletişimi ve kilidi ele alır.

  2. / Home için dağıtılmış bir dosya sistemi kullanın. Bu tür dosya sistemlerinin bir listesini http://en.wikipedia.org/wiki/Comparison_of_distributed_file_systems adresinde bulabilirsiniz . Ancak dikkatli olun ve akıllıca seçin. Hepsi sihir yapamaz ve hepsinin dezavantajları vardır. Gluster böyle bir dosya sistemidir. Bazı sistemlerde, yalnızca iki düğüme ihtiyacınız olabilir.

  3. Gerçek zamanlı olarak çoğaltılması gerekmiyorsa ve neredeyse gerçek zamanlı bir dosya senkronizasyonu yeterliyse, BitTorrent Sync'e ( http://www.getsync.com/ ), Dropbox'a veya alternatiflere bir göz atın . Her sunucunun kendi / ana sayfası vardır, ancak değişiklikler dosya bazında diğer sunucuya çoğaltılır.


1
rsync ftw 123456
dmourati
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.