Cloud Computing için arka uç olarak hangi Dağıtılmış Dosya Sistemi?

Ubuntu Sunucusu (9.04) ve Okaliptüs üzerinde çalışan temel bir bulut var. Mors (Eucalyptus'un API uyumlu S3 uygulaması) dosyaları bulut denetleyicisinde depolar. Ancak, diğer 4 sunucunun her biri büyük ölçüde kullanılmayan 1 TB depolama alanına sahiptir. Tüm kullanılabilir kaynakları kullanmak için tüm depolamayı bir araya toplamanın bir yolunu arıyorum. PVFS, Lustre, HDFS (Hadoop) gibi çeşitli seçeneklere bakıyorum.

Benim tek istekleri ölçeklenebilir olması ve Ubuntu üzerinde iyi çalışmasıdır. Bu teknolojiler konusunda tecrübesi olan herkesin işitmesini takdir ediyorum ve önerilerinizi bekliyoruz.

Sistemlerimizde hiçbir yerde kişisel olarak uygulamamış olsam da, Gluster'a oldukça kapsamlı baktım . Bunu kullanan bazı büyük sitelerde birkaç kişi tanıyorum ve görünüşe göre gerçekten iyi çalışıyor. Bazı ağır iş HPC uygulamaları için üretimde kullanıyorlar.

GlusterFS benim için ideal bir çözüm gibi görünüyor. Gluster'ın kurmak için çok çaba sarf ettiğini iddia eden adama muhtemelen hiç denemediğini söylemeliyim. Gluster 3.2'den itibaren yapılandırma yardımcı programları oldukça harika ve bir ses seviyesini artırmak ve ağda paylaşmak için 2 veya 3 komut gerekiyor. Oluk hacimlerinin montajı da aynı derecede basittir.

Artı tarafta da NFS'den çok daha fazla esneklik sağlar. Şeritleme, relication, georeplication yapar, elbette POSIX uyumludur vb. HekaFS adında bir uzantı var, bu da SSL ve daha gelişmiş Kimlik Doğrulama mekanizmaları ekliyor, bu da muhtemelen bulut bilişim için ilginç. Ayrıca ölçekler! F / OSS ve yakın zamanda Gluster satın alan RedHat tarafından geliştiriliyor.

Hiç mogileFS'ye baktınız mı? http://danga.com/mogilefs/

Geleneksel anlamda bir dosya sistemi değildir, ancak dosya verilerini bir kümeye dağıtmak için iyidir (çoğaltma ve artıklık dikkate alınarak).

Bir web uygulaması için dosya sunuyorsanız, dosyaları sunmak için bir şeye ihtiyacınız olacaktır. Mogile FS'de istediğiniz dosyayı bulmak için arama anahtarı olarak HTTP isteğini kullanan bir PHP komut dosyası öneririm. Daha sonra dosyanın içeriğini bir arabelleğe okuyabilir ve yankılayabilir / yazdırabilirsiniz.

MogileFS zaten oldukça hızlıdır, ancak en sık kullanılan dosyalara erişimi hızlandırmak için mogileFS'yi memcache ile birleştirebilirsiniz.

Lustre ile sunucular üzerinde özel bir çekirdeğe sahip olmanız gerekir ve ben sadece sunucular olmak ve başka bir şey sunucuları olurdu.

Garip bir şekilde en mantıklı cevap NFS olabilir. Amazon'un bulutunda NFS kullandık. Bazı dosya sistemlerinde olduğu gibi ölçeklenmeyebilir, ancak basitlik göz ardı edilmemelidir. Tek bir isim alanı muhtemelen uygulanması için harcanacak çabaya değmez.

Hâlâ HDFS mi arıyorsunuz? Cloudera adamlarından biri bu yıl VelocityConf'ta Hadoop ve HDFS hakkında büyük veri kümelerini yönetmeye odaklanan bir konuşma yaptı, bu yüzden HDFS hakkında biraz konuştu. Slaytlar oldukça bilgilendirici. Kişisel olarak HDFS ile çalışmadım, ancak Velocity'de çeşitli veri analizleri yapmak için Ubuntu'da kullanan bazı rastgele kişilerle konuştum.

• Slaytlar
• Konuşma bilgisi

Bir tür paylaşılan dosya sistemini sanallaştırma ortamının arkasına koymak oldukça yaygındır. Neyi başarmak istediğinize bağlı olarak birçok seçeneğiniz var.

En basit çözüm muhtemelen NFS'dir, çünkü bu, çalıştığınız herhangi bir dağıtım tarafından yerel olarak desteklenecektir. NFS, orada en hızlı şey olmayacak olsa da, bir sanallaştırma arka uç dosya sistemi olarak makul bir şekilde iyi performans gösterebilir.

Bir RedHat (veya türevi) kümesi çalıştırıyorsanız, RedHat'ın küme dosya sistemi olan GFS2 için hazır bir desteğe sahip olacaksınız. Bu yüzlerce düğüme kadar ölçeklenmez, ancak daha küçük kümeler için iyidir.

Bunun ötesinde, Lustre, Glusterfs, GPFS ve benzeri şeyleri girmeye başlıyorsunuz. Bunların hepsi yüksek performanslı paralel dosya sistemleridir, ancak buradaki diğer seçeneklerden daha fazla kurulum gerektirir. Geniş bir ortamınız varsa, bakmaya değer olabilirler.

NFS en iyi seçenek olduğunu @larsks kabul ediyorum; bazı iSCSI hedefleri belirleme, NFS, bitti. bu yaklaşık 5-10 düğüme ölçeklenecektir; YMMV, G / Ç, ağ özelliği vb. Temel alır (alternatif olarak, çok yollu G / Ç desteğiyle iSCSI'yi ayarlayın).

20'den fazla düğüm hakkında bir şeye ihtiyacınız varsa, Ceph'i araştırmak isteyebilirsiniz . Lustre umut verici ve istikrarlıdır, ancak (F / OSS) bir Oracle ürünüdür ve Oracle'a karşı kişisel hoşlanmam var. :)

Ceph de oldukça aktiftir; en son sürüm 5 gün önceydi.

XtreemFS sizin için bir çözüm olabilir. Kurulumu ve yapılandırması oldukça basittir, Ubuntu için paketler de vardır.

MooseFS (Dağıtılmış Dosya Sistemi) gereksinimlerinize uyar. Ölçeklenebilir ve Ubuntu üzerinde iyi çalışır. Ubuntu üzerinde resmi olarak desteklenen depodan MooseFS'yi nasıl kuracağınızı / güncelleyeceğinizi görmek de yararlı olabilir .

Ne yaptığınızdan emin değilsiniz, ancak bu CouchDB için potansiyel olarak ilginç bir uygulama gibi geliyor .

PVFS2'yi deneyebilirsiniz . Kurulumu Lustre'den çok daha kolay ve genellikle Gluster'dan daha hızlıdır.