100'lü VM Web Sunucusu için SAN teknolojisi seçme

Sorun

Mevcut bir platformda performansla ilgili bir sorunumuz var, bu yüzden bu konuda ikinci bir görüş için kovan zihnine dönüyorum. Performans sorunu şimdiye kadar verim yerine IOPS ile ilgilidir.

Senaryo

Her biri 64 GB RAM'e sahip 16 ana bilgisayarlı blade merkezi. (Bu, M610'lu bir Dell M1000e, ancak muhtemelen ilgili değildir) 500 VM, tüm web sunucuları (veya MySQL, yük dengeleyicileri vb. Gibi ilgili web teknolojileri), yaklaşık% 90'ı Linux ve diğer Windows'lardır. Hipervizör VMWare vSphere'dir. Ana bilgisayar HA sağlamamız gerekiyor, bu nedenle yerel depolama dışarıda. Gibi ana bilgisayarlar sadece önyükleme için bir SD kart var.

Biraz arka plan düşünme

Şu anda 6 ana bilgisayardayız (bıçak merkezi mevcut büyümede yıllar içinde tam kapasitede olacaktır) ve iSCSI'yı genişletme için bir Dell MD3220i w / MD1220 ile çalıştırıyoruz.

Düşündüğümüz olası seçenekler ve bunlarla birlikte hemen düşünceler:

• VM'leri NFS veri depolarına yaymak ve belirli sayıda VM için performans gereksinimini karşılayan NFS depolama alanını çalıştırmak. NFS ölçeklendirmek için daha ucuz görünüyor ve blok düzeyinde depolamadan biraz daha soyutlanmış, böylece gerektiğinde hareket ettirebiliyoruz.
• Daha fazla MD3220i denetleyicisi / hedefi ekleme. Ancak bunu yapmanın, VMWare'in çok sayıda hedefi nasıl ele aldığı üzerinde olumsuz bir etkisi olabileceğinden endişe duyuyoruz.
• Nearline SAS'dan SSD'ye tüm disklerin değiştirilmesi. Bu, IOPS sorununu tamamen çözmelidir, ancak depolama kapasitemizi kesmenin bariz yan etkisi vardır. Ayrıca hala çok pahalı.
• vSphere 5, bir depolama cihazına sahiptir. Bu kadar araştırma yapmadık, ama iyi çalışmalı mı?

Soru

Tüm bunların altında ne tür bir depolama alanı kullanırdınız? Başka bir blade merkezine ölçeklendirilmesi gerekmeyecek, tüm bu VM'ler için nispeten iyi bir performans sağlaması gerekecek.

"SAN x satın al çünkü en iyisi" yanıtlarını aramıyorum. Çeşitli SAN teknolojileri (iSCSI, FC, FCoE, InfiniBand, NFS, vb.), Farklı depolama türleri (SATA, SAS, SSD) ve VM'lerin 100'leri (Konsolidasyon, Ayırma) depolama yöntemleri için düşünceler arıyorum , Parçalama, vb.).

Kesinlikle herhangi bir düşünce, bağlantılar, kılavuzlar, işaretçiler vb bu konuda bekliyoruz. Ayrıca, daha önce düşündüğümüz yukarıdaki seçenekler hakkında düşünceleri duymak isterim.

Herhangi bir giriş için şimdiden çok teşekkürler!

5 Mart '12 Güncellemesi

Şimdiye kadar bazı harika yanıtlar, herkese çok teşekkür ederim!

Şimdiye kadar bu soruya verilen yanıtları takip ederek, aşağıdaki yolun yol olduğunu düşünmeye başlıyorum:

• Kullanılabilir depolama alanını VMWare kümesine sıralayın ve VM disklerini iş yükleri için uygun depolama alanına yerleştirin.
• Verilerin uygun depolama alanına otomatik olarak yerleştirilmesini yönetebilen bir SAN'ı potansiyel olarak kullanın.
• Infiniband, ana bilgisayarlarla tam kapasitede gerekli bant genişliğini elde etmek için en uygun maliyetli görünüyor.

Kesinlikle senaryoyu almak için büyük bir SAN satıcısının satış öncesi hizmetlerinden faydalanmaya değer gibi görünüyor.

Bir süre bu sorunu ele almaya devam edeceğim. Bu arada daha minnetle alınan tavsiye!

İyi bir VMWare depolama platformunun anahtarı, VMWare'in ne tür bir yük oluşturduğunu anlamaktır.

• İlk olarak, çok sayıda sunucuyu barındırdığınızdan, iş yükü genellikle rasgele. Aynı anda devam eden birçok G / Ç akışı vardır ve bunların birçoğu başarıyla önbelleğe alınamaz.
• İkincisi, değişken. Normal işlemler sırasında,% 70 rasgele okumalar görebilirsiniz, ancak bir sanal makineyi yeni bir veri deposuna veya başka bir şeye taşımaya karar verdiğiniz anda, 60 GB'lık büyük bir sıralı yazma görürsünüz. Mimariye dikkat etmezseniz, bu, depolama alanınızın normal G / Ç ile başa çıkabilmesini engelleyebilir.
• Üçüncü olarak, ortamınızın küçük bir kısmı genellikle depolama iş yükünün büyük bir bölümünü oluşturur.

Bir VMWare platformu için bina depolamasına yaklaşmanın en iyi yolu, temel bilgilerle başlamaktır.

• Büyük bir rastgele okuma iş yüküne hizmet verebilmeniz gerekir, bu da daha hızlı sürücüler ve muhtemelen SSD anlamına gelir. Çoğu modern depolama sistemi, verilere nasıl erişildiğine bağlı olarak verileri otomatik olarak taşımanıza izin verir. SSD kullanacaksanız, bunu nasıl kullandığınızdan emin olmak istersiniz. Sıcak noktaları kademeli olarak azaltmanın bir yolu olarak olmalı. SSD kullansanız da kullanmasanız da, tüm işi tüm sürücülere yerleştirebilmeniz yararlıdır, bu nedenle bir tür depolama havuzuna sahip bir şey faydalı olacaktır.
• Altta yatan sürücülerin iş mili hızını önemsemeyen, ancak denetleyici yığınının verimliliğini ve önbelleğin boyutunu önemseyen aralıklı büyük yazma işlemleri yapabilmeniz gerekir. Yansıtılmış önbelleğe sahipseniz (bir denetleyici arızanız olduğunda yedeklemeye geri dönmek istemiyorsanız isteğe bağlı değildir), yansıtma için kullanılan iki önbellek arasındaki bant genişliği, genellikle büyük sıralı yazma işlemleri için darboğazınız olacaktır. Aldığınız her şeyin yazma önbelleği için yüksek hızlı bir denetleyici (veya küme) bağlantısına sahip olduğundan emin olun. Fiyat konusunda gerçekçi kalırken alabileceğiniz kadar çok port ile yüksek hızlı bir ön uç ağı elde etmek için elinizden geleni yapın. İyi ön uç performansının anahtarı, depolama yükünüzü mümkün olduğunca çok ön uç kaynağına koymaktır.
• Düşük öncelikli depolamanın yanı sıra ince provizyon için bir katmana sahip olarak maliyetleri ciddi şekilde azaltabilirsiniz. Sisteminiz tek tek blokları ucuz büyük / yavaş sürücülere (7200 RPM ve 2 TB + boyutlarında nearline SAS veya SATA gibi) otomatik olarak geçirmiyorsa, manuel olarak yapmayı deneyin. Büyük yavaş sürücüler, arşivler, yedeklemeler, bazı dosya sistemleri ve hatta az kullanılan sunucular için mükemmel hedeflerdir.
• Depolama alanının VAAI ile tümleşik olduğu konusunda ısrar edin, böylece VMWare, VM'lerin kullanılmayan kısımlarının yanı sıra veri depolarını da ayırabilir.

Büyük VMWare dağıtımlarım 10GbE üzerinde NFS ve iSCSI. Bu, sunuculardaki çift bağlantı noktalı 10GbE HBA'ların yanı sıra depolama kafasını ifade eder. Bunun için ZFS tabanlı depolama hayranıyım. Benim durumumda ticari NexentaStor etrafına sarılmış , ancak bazıları kendi rulolarını seçmeyi tercih ediyor.

Bu bağlamda ZFS tabanlı depolamanın temel özellikleri, depolamayı katmanlı hale getirmenize izin veren ARC / L2ARC önbellekleme işlevselliğidir. En aktif veriler, ikinci katman olarak RAM ve SSD depolamada yolunu bulur. Ana depolama havuzunuzu 10k veya 15k SAS sürücülerden çalıştırmak da yararlı olacaktır.

Bu başka bir profil oluşturma ve iş yükünüzü anlama durumudur. Depolama düzeninizi analiz edebilen ve planlamanıza yardımcı olabilecek biriyle çalışın. ZFS / NexentaStor tarafında PogoStorage'ı seviyorum . Bu tür içgörü olmadan, taşıma yöntemi (FC, FCoE, iSCSI, NFS) önemli olmayabilir. Mevcut altyapınızı izliyor musunuz? G / Ç etkinliği şu anda neye benziyor?

Anahtar soru şudur: "darboğaz nerede?" IOPS'tan bahsediyorsunuz, ancak bu, disklerin kendilerini darboğaz olarak olumlu olarak tanımladığınız veya yalnızca SAN bağlantı noktalarının kapasitede çalışmadığı veya VM'lerin istediğinizden çok daha fazla iowait olduğu anlamına mı geliyor?

Disklerin sınırlayıcı faktör olduğunu kesin olarak belirlediyseniz, NFS'ye veya infiniband'a veya performansınız için çömelme yapmayacak herhangi bir şeye geçerseniz - SSD'lere (veya en azından karışımdaki SSD'lerle katmanlı depolama alanına) ihtiyacınız vardır veya bir demet daha fazla iğ (dünyanın step motor üretimi okyanusa yıkandığından beri son zamanlarda çok daha pahalı hale gelen bir çözüm).

Darboğazın gerçekte nerede olduğundan% 100 emin değilseniz, önce bunu bulmanız gerekir - depolama altyapınızın parçalarını, diğer insanların tahminlerine dayanarak daha fazla veya daha az rastgele karıştırmak olmayacak çok etkilidir (özellikle herhangi bir değişikliğin uygulanmasının ne kadar pahalı olacağı göz önüne alındığında).

İscsi veya nfs istiyorsanız o zaman en az birkaç 10 / 40gb port veya infiniband isteyeceksiniz, bu şimdiye kadar en ucuz seçenek ama infiniband için yerel depolama çözümleri sınırlı gibi görünüyor. Sorun, genellikle 8GB fc veya 10 \ 1gbe ve belki de infiniband gibi seçenekleri olan bladecenter için modül olacaktır. Infiniband'ın nfs ile kullanılabileceğini ve performans \ fiyat açısından hiçbir şeyin kapalı olmadığını unutmayın. bıçak merkezi qdr infiniband'ı destekliyorsa, bunu nfs aracılığıyla bir qdr infiniband tca ile bir tür linux host ile yapardım. İşte bu açıklayan iyi bir bağlantı http://www.zfsbuild.com/2010/04/15/why-we-chose-infiniband-instead-of-10gige

ancak bladecenter qdr infiniband'ı destekleyebilirse ve yerel infiniband'ı karşılayabiliyorsanız, o zaman seçmeniz gereken çözüm budur.

Şu anda 40gbe anahtarları çok daha ucuz alabilirsiniz (bu garip bir düşünce) sonra 10gbe anahtarları ama bıçak merkezinizin bunu destekleyeceğinden şüpheliyim.

Yerel depolama alanı yok mu? DRBD8 ile XEN makinemin küme ortağına yansıtılan yerel RAID 5'lerimdeki yazma işleminden oldukça memnunum ... (ancak bu elbette "desteklenmiyor").

Kenara oldukça mySQL performans sorunu olduğundan eminim (kötü bir DB hiç görmedim). Uzaklaştırmaya ve / veya tüm DB'yi dosya sistemi önbelleğine koymaya çalışın (okuma erişimi için) ...