Yazma hızı gereksinimi: 1.1GB / sn olanakları?

İşyerinde bir makineye sahip olacağız, en yüksek performansla saatte 50 ("yazma kafası") x 75GB veriyi zorlayabilmelidir . Bu ~ 1100 MB / sn yazma hızında en yüksek performans. Bunu makineden almak için iki adet 10GBi hat gerektirir. Sorum şu ki, ne tür bir sunucu + teknolojisi bu tür veri akışını yönetebilir / saklayabilir?

Şu anda veri depolama için ZFS ile çalışıyoruz, ancak yazma hızları hiçbir zaman bir sorun değildi. (bu hızlara yakın bile değiliz) ZFS (linux üzerinde zfs) bir seçenek olabilir mi? Ayrıca, çok fazla veri depolamamız gerekiyor, “IT rehberi” toplamda 50-75 TB arasında bir yerde olduğunu gösteriyor. Bu nedenle, ilk doğan çocuğumuzu sunmak istemediğimiz sürece muhtemelen tüm SSD'ler olamaz.

Mükemmel cevaplara dayanan bazı eklemeler:

• maksimum saatte maksimum 50x75GB / saat olan 24 saatten azdır (büyük olasılıkla <6 saat)
• Bunun yakında gerçekleşmesini beklemiyoruz, muhtemelen 5-10x75GB / saat çalışacağız
• bu bir ön alfa makinesi, ancak gereksinimlerin karşılanması gerekiyor (birçok soru işareti oyunda olsa bile)
• Kullandığımız ediyorum NFS sunucusu makineden bağlantı olarak
• düzen: üreten makine -> depolama (bu) -> (güvenli baskın 6) -> bilgi işlem kümesi
• bu nedenle okuma hızı gerekli değildir , ancak bunu hesaplama kümesinden kullanmak iyi olur (ancak bu tamamen isteğe bağlıdır)
• büyük olasılıkla büyük veri dosyaları olacak (çok küçük değil)

Kesinlikle ... Linux üzerinde ZFS, doğru bir şekilde tasarlandıysa bir olasılıktır. ZFS tasarımında pek çok kötü durum söz konusudur , fakat iyi yapıldığında gereksinimleriniz karşılanabilir.

Dolayısıyla, ana belirleyici bu veri depolama sistemine nasıl bağlandığınızla ilgili olacaktır. NFS mi? CIFS? Müşteriler depoya nasıl bağlanıyor? Veya depolama sistemi üzerinde işlem vb.

Daha fazla ayrıntı doldurun ve yardım edip edemeyeceğimizi görebiliriz.

Örneğin, eğer bu NFS ise ve senkronize montajlıysa, yazma performansı gereksinimlerini karşılamak ve hala uzun vadeli depolama kapasitesi gereksinimini sürdürmek için Linux'ta ZFS'yi ölçeklendirmek kesinlikle mümkündür. Veri sıkıştırılabilir mi? Her müşteri nasıl bağlanır? Gigabit ethernet mi?

Düzenle:

Tamam, ısırırım:

İşte kabaca 17 bin dolar - 23 bin dolar ve 2U raf alanına sığacak bir özellik .

HP ProLiant DL380 Gen9 2U Rackmount
2 x Intel E5-2620v3 or v4 CPUs (or better)
128GB RAM
2 x 900GB Enterprise SAS OS drives 
12 x 8TB Nearline SAS drives
1 or 2 x Intel P3608 1.6TB NVMe drives

Bu kurulum, donanım RAID6 veya ZFS RAIDZ2 kullanarak 80 TB kullanılabilir alan sağlar.

Odak NFS tabanlı performans (eşzamanlı yazma varsayarsak) olduğundan, hepsini P3608 NVMe sürücüleri (çizgili SLOG) ile kolayca emebiliriz. Sıralı yazılarda 3 GB / sn ağırlığa sahip olabilir ve açıkladığınız iş yükünü sürekli olarak idare edebilecek kadar dayanıklılık derecesine sahip olabilirler. SLOG kullanım çantası altında bazı korumalar eklemek için sürücüler kolayca fazladan sağlanabilir.

NFS iş yükü ile, yazma işlemleri birleştirilir ve dönen diske atılır. Linux altında, her 15-30 saniyede bir akmaya başlayacağız. Dönen diskler bunu kaldırabilir ve bu veriler sıkıştırılabilir olduğunda daha da fazla fayda sağlayabilir.

Sunucu 4 tane daha açık PCIe yuvası ve çift bağlantı noktalı 10GbE FLR adaptörleri için ek bir bağlantı noktasıyla genişletilebilir. Böylece ağ esnekliği var.

Böyle aşırı yazma hızı için, ZFS, BTRFS veya herhangi bir CoW dosya sistemine karşı öneririm. Büyük / akış aktarımında son derece etkili olan XFS'yi kullanırdım.

Pek çok eksik bilgi var (bu verilere nasıl erişmeyi düşünüyorsunuz? Okuma hızı önemli mi? Büyük parçalara yazacak mısınız? Vb.) Size özel tavsiyeler vermek için:

• ham bir bölümün veya bir LVM biriminin üzerine XFS kullanın (ince birimler kullanmayın)
• büyük veri yazma işlemleriyle verimli bir şekilde başa çıkmak için ioblock boyutunu ayarlayın
• powerloss korumalı yazma önbelleği olan bir donanım RAID kartı kullanın; donanım RAID kullanımı söz konusu değilse, bir yazılım RAID10 şeması kullanın (eşlik tabanlı herhangi bir RAID modundan kaçının)
• LACP ile iki 10Gb / s ağ arayüzü kullanın (bağlantı birleştirme)
• Jumbo Çerçeveleri etkinleştirdiğinizden emin olun
• NFS kullanacağınız için, artan ölçeklenebilirlik için pNFS (v4.1) kullanmayı düşünün.
• elbette pek çok şey ...

25 Gb / sn Ethernet zaten sınırda-ana akım olsa da, PCIe tabanlı NVMe bu trafiği kolayca yakalar.

Referans için son zamanlarda dört normal çift xeon sunucu (bu durumda HPE DL380 Gen9s) kullanan küçük bir 'günlük yakalama' çözümü oluşturdum, her biri 6 x NVMe sürücülü, Infiniband üzerinden IP kullandım ancak bu 25 / 40Gbps NIC'ler aynı olurdu. ve sunucu başına 8GB / sn'ye kadar çekim yapıyoruz;

Temelde ucuz değil ama bugünlerde çok yapılabilir.

Büyük bir anlaşma gibi gelmiyor. Yerel donanım tedarikçimiz bunu standart bir ürün olarak sunuyor - görünüşe göre CCTV kayıt modunda 1400 MB / sn'yi sürekli olarak zorlayabilir, bu da en yüksek gereksinimlerinizden daha zor.

(Bağlantı varsayılan 12 GB yapılandırmasıdır, ancak 20x4TB'nin de bir seçenek olduğunu not ederler. Bu belirli model sunucuda kişisel bir deneyim yoktur.)

1100 MB / s'de sıralı yazma, modern donanımla ilgili bir sorun değildir. Aniden, 8x5900 RPM dizüstü bilgisayar sürücülerine, 2x15000 RPM sürücülere ve 2x7200 RPM sürücülere sahip ev kurulumum, 16 GB bir kerelik yük taşıma kapasitesiyle 300 MB / sn.

Ağ, fiber kablolara sahip 10 GbE, ethernet üzerinde 9000 MTU ve uygulama katmanı Samba 3.0'dır. Depolama, baskın50 içinde üç 4-sürücü baskın 5 cildi üzerinde üç şeritli olarak yapılandırılmıştır. Kontrolör, port başına 6 Gb / sn'ye kadar LSI MegaRAID SAS 9271-8i'dir (ek olarak daha yavaş bir port çarpanına sahibim).

Herhangi bir tecrübeli sysadmin ile konuşun, hangi kontrollerin ve sürücülerin ihtiyaçlarınızı tam olarak karşılayacağını size söyleyebilmeliler.

Herhangi bir 12Gb / s denetleyiciyle deneyebileceğinizi ve her birinin sekiz 7200 RPM sürücünün iki yansıtılmış çizgisini yapılandırabileceğini düşünüyorum (neredeyse her sürücü yapmalıdır). Bağlantıyı doyurmak için 3-4 TCP bağlantılarına başlayın ve tek bir 10 GbE kart çifti kullanamıyorsa, dört kart kullanın.

Teğet bir şey, ancak çift 10 GbE bağlantı yerine InfiniBand kullanmayı düşünün. 56Gbps Infiniband kartlarını oldukça ucuza alabilir veya 100Gbps kartını çok daha fazla almayabilirsiniz ve Linux'ta IBFS üzerinde RDMA ile NFS kullanmak kolaydır; ele al). Bir anahtara, sadece iki InfiniBand kartına ve doğrudan bir bağlantı kablosuna (veya daha uzun mesafelere ihtiyacınız varsa bir InfiniBand fiber kabloya) ihtiyacınız yoktur.

MCB191A-FCAT gibi tek bağlantı noktalı bir Mellanox 56Gbps kart (8x PCIe 3.0), 700 dolardan az ve 2 metrelik bir bakır doğrudan bağlantı kablosu 80 dolar gibi.

Performans genellikle tüm kullanım durumlarında 10 GbE değerini sudan atar. Sunucuya, hepsi InfiniBand kullanamayan birçok farklı istemciden erişmeniz gerekmediği sürece olumsuz taraf yoktur (ve o zaman bile, Mellanox'un anahtarları, 10GbE ve 40GbE'yi IB'ye köprüleyebilir, ancak bu biraz daha fazla bir yatırımdır, tabii ki).

Bununla birlikte, ZFS ile yapmak mümkündür, ancak FreeBSD'yi kullanarak FreeBSD'yi kullanmayı düşünün. Bu, tek bir makinede muhtemelen 100 GBit sağlar.

1100 MBps kulağa çok benziyor ancak gerçekçi disk sürücüleri kullanarak bunu gerçekçi bir şekilde başarabilirsiniz. 75 TB alana ihtiyaç duyduğunu söylüyorsun, böylece aynalarda 24 8 TB sabit disk kullanabiliyorsun. Bu, size tek bir sürücünün 12x yazma hızını ve 24x sürücünün okuma hızını verir. Bu sürücüler 100 MB / sn'den daha fazla yazma hızına sahip olduğundan, bant genişliğini kolayca kaldırabilmelidir. Çok yavaş yazma hızlarına sahip olduklarından, SMR sürücülerinin bulunmadığından emin olun.

ZFS, her blok için sağlama toplamı oluşturur. Bu tek iş parçacıklı uygulanır. Bu nedenle, bloklanmaması için oldukça hızlı bir saat hızına sahip bir CPU'nuz olmalıdır.

Ancak, kesin uygulama detayları büyük ölçüde ayrıntılara bağlıdır.

Sigorta müşterileri üzerinden 10G NIC boşaltma verisini Gluster kümesine yerleştirdik. 3.0'dan beri elde edebileceği performansa inanamayacağınız biraz ayar gerektiriyor.