150 TB ve büyüyor, ama nasıl büyür?

Grubumun şu anda her ikisi de debian linux çalıştıran iki büyük depolama sunucusu var. Birincisi, birkaç yaşında olan hepsi bir arada 24 diskli (SATA) bir sunucudur. Üzerinde LVM bulunan iki donanım RAID'imiz var. İkinci sunucu, her biri bir donanım RAID 6 olan 4 kasaya bölünmüş 64 disktir ve harici SAS ile bağlanmıştır. 100 TB kullanılabilir depolama alanı oluşturmak için bunun üzerine LVM ile XFS kullanıyoruz. Bütün bunlar gayet iyi çalışıyor, ama biz bu sistemleri aşıyoruz. Bu tür iki sunucu oluşturup hala büyüyerek, gelecekteki büyüme, yedekleme seçenekleri, disk arızası altında daha iyi davranan (daha büyük dosya sisteminin bir gün veya daha uzun sürebileceğini kontrol etme) açısından daha fazla esneklik sağlayan bir şey oluşturmak istiyoruz. yoğun bir eşzamanlı ortamda (küçük bilgisayar kümesini düşünün). Sistem yönetimi desteğimiz yok,

Bu nedenle, aradığımız, gelecekteki büyümeye ve esnek yapılandırmaya izin verecek nispeten düşük maliyetli, kabul edilebilir bir performans depolama çözümüdür (farklı işletim özelliklerine sahip farklı havuzlara sahip ZFS'yi düşünün). Muhtemelen tek bir NAS alanının dışındayız. Kendimiz yaparsak, bunun üzerine glusterf'lerin çalıştığı sunucu başına ZFS (örneğin openindiana'da) veya btrfs kombinasyonu düşünüyoruz. Buna karşı tarttığımız şey, sadece mermiyi ısırmak ve Isilon veya 3Par depolama çözümlerine yatırım yapmak.

Herhangi bir öneri veya deneyim takdir edilmektedir.

Umarım bu biraz yardımcı olur. Tam bir metin duvarına dönüşmesine izin vermemeye çalıştım. :)

3PAR / Isilon

SAN yönetici rolünü üstlenen ve gece çalışması yerine gece uykusuyla ağrısız bir hayatın tadını çıkarmak isteyen biri için sabit bir adam-saat ayırabilir ve ayıracaksanız, o zaman böyle giderdim.

SAN, tek bir "depolamanın" sizi sınırlayacağı her şeyi yapmanıza izin verir (yani, bir purestorage flash dizisini ve büyük bir 3par sata canavarı aynı sunucuya bağlayın), ancak bunun için ödeme yapmalı ve iyi korunmalıdır. esnekliği kullanmak istediğiniz zaman.

Alternatifler

Amplidata

Artıları: Ölçek, ucuz, güzel bir konsept ve özel okuma / yazma önbellek katmanları ile tasarlanmış. Bu aslında sizin için en iyi şey olabilir.

RisingTideOS

Hedef yazılımları hemen hemen tüm linux depolarında kullanılıyor ve basit linux / gluster malzemelerinden biraz daha iyi bir yönetim sağlıyor. (Imho) Ticari versiyon bir göz atmaya değer olabilir.

Gluster / btrfs

PRO: Ölçekler ve "Tuğlalar" size yönetim için çok iyi bir soyutlama katmanı verir.

CON: Birincisi benim için tam bir PITA oldu. Sağlam değildi ve başarısızlıklar ya bir tuğla için yerel olabilir ya da her şeyi çıkarabilir. Şimdi, RedHat kontrol altındayken, aslında çalışan bir şeye dönüşebilir ve hatta bunu yıllarca çalışacak şekilde evcilleştirebilecek insanlarla tanıştım . İkincisi hala yarı deneysel. Normalde bir FS'nin "tamamlanmasından" 3-4 yıl sonra kanıtlanmış ve sağlam olana kadar ihtiyacı vardır. Verilere önem veriyorsanız, bunu neden dikkate alıyorsunuz? Deneysel olarak konuşursak, Ceph ticari destek neredeyse çıktı, ancak "RBD" katmanına bağlı kalmanız gerekiyor, FS henüz yeterince iyi test edilmedi. Bunu açıklığa kavuşturmak istiyorum, ancak Ceph uzun vadede çok daha çekici. :)

ZFS

Pro: Kesinlikle diğer şeylerin tabutuna çivi koyan özellikler. Bu özellikler iyi tasarlanmış (düşün L2ARC) ve sıkıştırma / veri tekilleştirme eğlenceli. Daha büyük "depolama kümeleri" anlamına gelir, yani bir büyük birleştirilmiş bom yerine sadece küçük arızalara sahiptir

Con: Gerçek bir depolama yerine birçok küçük yazılım kutusu bulundurmak. Sağlam bir kurulum için bunları entegre etmeniz ve $$$ saat harcamanız gerekir.

XFS + LVM yolu, gerçekten de son birkaç yıl içinde ölçeklendirilmiş bir saf Linux depolama çözümü için en iyi seçeneklerden biri. Zaten orada olmanız teşvik edilir. Artık daha fazla büyümeniz gerektiğine göre, kullanabileceğiniz birkaç seçeneğiniz daha var.

Bildiğiniz gibi, orada büyük donanım satıcıları depolama için NAS kafaları var. Bu gerçekten her şeyin gerçekleşmesi için birlikte çalışmanız için tek bir satıcı verir ve oldukça iyi çalışır. İçeri girmek için kolay çözümlerdir (DIY'e kıyasla) ve sürdürülebilirlikleri daha düşüktür. Ancak, oldukça pahalıya mal oluyorlar. Bir yandan altyapı problemlerinden ziyade ana problemlerinizi çözmek için daha fazla mühendislik kaynağınız olacak; Öte yandan, çoğu üniversite bölümü gibiyseniz, insan gücünün işler için para ödemeye göre gerçekten ucuz olduğunu biliyorum.

DIY rotasına gittiğinizde, mevcut DIY seçeneklerine zaten iyi bir takdiriniz var. ZFS / BTRFS, ölçeklendirilmiş depolama için XFS + LVM'den belirgin yükseltme yoludur. Linux ana hattı çekirdeğinde 'kararlı' olarak ilan edilene kadar BTRFS'den uzak dururum, ki bu, büyük ücretsiz dağıtımların birçoğu varsayılan dosya sistemi olarak kullanıyor. ZFS için, OpenIndiana yerine bir BSD tabanı kullanmanızı tavsiye ederim, çünkü daha uzun süre var ve karışıklıklar (daha fazla) çalıştı.

Gluster, burada açıkladığınız kullanım çantası için tasarlanmıştır. Çoğaltma yapabilir ve çok fazla depolama alanına sahip tek bir sanal sunucu sunabilir. Onların Dağıtılmış Birimleri beyan birimdeki tüm depolama sunucuları üzerinden dosya yayılmış beri aradığınız tam olarak ne konuşuyorsun. Görünür birimi genişletmeye devam etmek için ayrık depolama sunucuları eklemeye devam edebilirsiniz. Tek isim-alanı!

Gluster ile elde edilen sorun, müşterileriniz CIFS veya NFS seçeneklerinden ziyade sisteme erişmek için Gluster İstemcisini kullanabildiğinde en iyi şekilde çalışmasıdır. Küçük bir küme-hesaplama kümesi çalıştırdığınız için, GlusterFS istemcisini kullanabilirsiniz.

Burada doğru yoldasınız.

Anladığım kadarıyla Linux SCST + FibreChannel veya infiniband'a dayalı bir SAN çözümü kullanabilirsiniz. LUN'lar için temel olarak donanım RAID'lerinin üstünde LVM kullanabilir ve dosya sistemi seviyesinin altındaki anlık görüntülere / çoğaltmaya dikkat edebilirsiniz (örnek olarak DRBD'yi alın). Bir dosya sistemi olarak ESXi'yi düğümlerin üstüne koyduğum için eşzamanlılık için iyi bir çözümün farkında değilim, bu nedenle veri depoları ESX eşzamanlı FS tarafından yönetiliyor. GFS2'nin bu ortamla çalışabileceğini düşünüyorum, ancak kesin gereksinimlerinizi kontrol etmeniz gerektiği için% 100 emin değilim. Her neyse, düğümlerinizin altında sağlam bir SAN'ınız olduğunda, işleri halletmek oldukça kolaydır.