VMware disk görüntülerini depolayan NFS için en iyi dosya sistemi seçenekleri

Şu anda birkaç VMware ESXi sunucusu için depolama olarak iSCSI SAN kullanıyoruz. Ek sanal makineler için bir Linux sunucusunda bir NFS hedefinin kullanımını araştırıyorum. Ayrıca, önemli avantajlar sağlayacaksa alternatif bir işletim sistemi (OpenSolaris gibi) kullanma fikrine de açığım.

Hangi Linux tabanlı dosya sistemi çok büyük bitişik dosyaları (VMware'in disk görüntüleri gibi) tercih eder? Alternatif olarak, insanlar bu tür iş yükü için OpenSolaris'te ZFS'yi nasıl buldular?

(Bu soru ilk olarak SuperUser'da sorulmuştur ; nasıl yapılacağını biliyorsanız cevapları taşımaktan çekinmeyin).

ZFS'ye bakmanızı gerçekten tavsiye ederim, ancak iyi bir performans elde etmek için, ZFS Niyet Günlüğü (ZIL) olarak özel bir cihaz almanız gerekecektir. Temel olarak bu, ZFS'nin yazma işlemlerinin depolama ile senkronize edildiğini hemen doğrulamasını sağlayan son derece hızlı (20-100K IOPS) yazabilen küçük bir cihazdır (birkaç GB), ancak yazma işlemlerini sabit disklere gerçekten koymak için 30 saniye kadar bekleyin havuzunuz. Çarpışma / kesinti durumunda, ZIL'deki taahhüt edilmemiş herhangi bir işlem bağlandığında yeniden oynatılır. Sonuç olarak, bir UPS'ye ek olarak, dahili bir güç kaynağı / süper kapasitörlü bir sürücü isteyebilirsiniz, böylece beklemedeki tüm ES'ler bir güç kaybı durumunda kalıcı depolamaya yapar. Özel bir ZIL cihazını tercih ederseniz, yazma işlemleri her türlü soruna yol açan yüksek gecikme süresine sahip olabilir. Sun'la ilgilenmediğinizi varsayarsak

• DDRDrive X1 - ZIL kullanımı için özel olarak tasarlanmış bir PCIe x1 kartındaki 4GB DDR2 + 4GB SLC Flash. Yazılar RAM'e gider; güç kaybı durumunda, RAM bir süper kapasitör ile çalışan <60 saniye içinde NAND ile senkronize edilir. (50k-300k IOPS; 2000 $ Doğrudan, .edu için 1500 $)
• Intel X25-E 32GB 2.5 inç SSD (SLC, ancak süper kapak yok, 3300 yazma IOPS); [Amazon'da 390 $] [11]
• OCZ Vertex 2 Pro 40GB 2.5 inç SSD (üst kapak, ancak MLC, 20k-50k yazma IOPS); Amazon'da 435 dolar .

OpenSolaris / Nexenta + ZFS kurulumunu yaptıktan sonra, blokları OpenSolaris ve ESX boxen arasında taşımanın birkaç yolu vardır; sizin için doğru olan, büyük ölçüde mevcut altyapınıza (L3 anahtarlar, Fiber kartlar) ve önceliklerinize (artıklık, gecikme, hız, maliyet) bağlıdır. Ancak iSCSI / FC / NFS işlevselliğinin kilidini açmak için özel lisanslara ihtiyacınız olmadığından, donanımınız olan her şeyi değerlendirebilir ve en sevdiğinizi seçebilirsiniz:

• iSCSI Hedefleri (CPU ek yükü; OpenSolaris'te TOE desteği yok)
• Fiber Kanal Hedefleri (Fiber Kartlar ucuz değildir)
• NFS (VMWare + NFS, 32 bağlama ile sınırlı titiz olabilir)

Değerlendirme için 500 $ harcayamazsanız , ZIL'in bir darboğaz olup olmadığını görmek için ZIL devre dışı ve devre dışı olarak test edin . (Muhtemelen öyledir). Bunu üretimde yapma . L2ARC için çok fazla koç ve SSD'niz yoksa ZFS veri tekilleştirme ile henüz uğraşmayın. Kurulumu aldıktan sonra kesinlikle güzel, ama kesinlikle tekilleştirme ile oynamadan önce bazı NFS Tuning yapmaya çalışın. 1-2 Gb bağlantılarını doyurduktan sonra 8gb FC, 10gigE ve infiniband'da büyüme fırsatları var, ancak her biri değerlendirme için bile önemli bir yatırım gerektiriyor.

Tam olarak bunu yapmam. Deneyimlerime göre, Linux (özellikle CentOS 3/4/5) bir NFS sunucusu için genellikle zayıf bir seçimdir. Birkaç tane aldım ve yük altında, gecikme ve iş hacminin asla başımızı bulamayacağımız nedenlerden dolayı düşme eğiliminde olduğunu gördüm.

Bizim durumlarımızda, arka arkaya Linux'un performansını Solaris (Ultra-SPARC'de) ve NetApp ile karşılaştırıyorduk; her ikisi de elmadan elmaya performans ve "sunucu yük altındayken gecikme konusunda neredeyse şikayetçi olmayan mühendisler" gibi belirsiz sonuçlar verdi. Linux NFS sunucusunu ayarlamak için birçok deneme yapıldı; hem NetApps hem de Solaris sistemleri olduğu gibi çalışıyordu. Hem Solaris hem de NetApp sistemleri daha eski olduğundan, Linux sunucularının her avantajı olduğu iddia edilebilir ve yine de ikna edici olamazdı.

Zamanınız varsa, OpenSolaris (şimdi Solaris'i kullanmak için çok pahalı), Linux ve belki de bir veya iki BSD varyantı ile aynı donanımı kurmak ve yarışmak için denemeye değer. Bazı performans metrikleri (örneğin mağaza dışında barındırılan bir sanal makinede disk G / Ç sayıları) bulabilirseniz, ilginç bir teknik inceleme veya internet makalesi oluşturabilir. (Eğer zamanın varsa.)

Genel olarak NFS ile ilgili olarak, NetApp çalışanları bana birkaç kez kıyaslamalarının NFS'nin VM'ler için performansta sadece% 5 ila 10 olduğunu gösterdiğini ve uygulamanızın bir sorun olduğuna yeterince duyarlıysa sanallaştırmamalısınız. ilk etapta.

Ancak itiraf etmeliyim ki, tüm bu zaman ve gözyaşlarından sonra, yerel olmayan üretim VM mağazalarımız iSCSI tarafından, çoğunlukla NetApp'dan besleniyor.

VMWare ESXi sunucumuza NFS sağlamak için bir RAID 10 ZFS yapılandırmasıyla OpenSolaris 2009/06 kullanıyoruz. Şimdiye kadar ihtiyaçlarımız için oldukça iyi çalışıyor. SATA Raid tipi diskler kullanıyoruz (Seagate ES.2 1 TB diskler). Ancak yine de yapacak bazı ayarlarımız var.

VMware için NFS veri depolarının büyük bir hayranıyım, NetApp mükemmel bir uygulamaya sahip.

TR-3808 , NetApp FC, iSCSI ve NFS bağlantılı paylaşılan veri depolarının ölçeklendirilmesini karşılaştırır, bu da mükemmel bir okumadır.

ZFS ARC ile 3 yıldan fazla bir süredir, ZFS ile çok derin atlamadan önce hala devam eden bir hata düşünebilirsiniz ...

http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6522017

(Bu da bir hipervizörün VM sınırlarından sınır dışı olacağı için kötü!)