S3 uyumlu Nesne Depolama sistemleri [kapalı]

Herkes yaklaşık% 100 Amazon S3 RESTful API uyumlu nesne depolama sistemine rastladı mı?

Sonra ne iyi bir kimlik doğrulaması ile depolamak ( PUT), almak ( GET), stat ( HEAD) ve delete ( DELETE) Amazon S3 tarzı RESTful API sağlayan herhangi bir (tercihen bir POSIX) dosya sistemi üstünde oturan bir katman .

Ticari projeler / fikirler de kabul edilir.

NOT:

Şimdiye kadar okaliptüs ve kümülüs denedim ; hangi okaliptüs kendini körü körüne S3 uyumlu diyor. Yanıt XML belgeleri hiç uyumlu değildir ve hiç XML belgesi olmayan bazı yerlerde düzensizdir. Cumulus, yanıt belgelerini oldukça benzer tutmayı başardı, ancak veri bütünlüğünü unutmuş görünüyor!

İkinci kısmı açıklayayım: hem okaliptüs hem de kümülüsün Amazon S3'ün sunduğu bütünlük doğrulaması için desteği yok. S3 ile yapabileceğiniz şey, PUT isteği ile birlikte bir Base64 (MD5 (FILE)) sağlayabilmenizdir ve daha sonra S3 tarafından başarılı bir şekilde yanıt vermeden önce doğrulanır. Okaliptüs ve Kümülüs bunu desteklemez. Okaliptüs ile en azından yanıt belgesinde verilen MD5'i (S3 uyumlu davranış değil) kontrol ederek bu sorunu çözebiliriz. Cumulus'ta bu, hiçbir şeye (S3 gibi) cevap vermediğinden mümkün değildir. HEADİstekte bir ETag vermeyerek Cumulus tarafından daha da kötüleşir .

Swift , OpenStack'ın nesne depolama motorudur ve Şubat 2011'deki Bexar sürümünden itibaren deneysel bir S3 uyumlu ara katman yazılımı olduğunu iddia ediyor. OpenStack çok dikkat çektiğinden (örneğin Canonical, Ubuntu'yu bu Ekim ayında Okaliptüs üzerinden değiştiriyor) bir göz atmaya değer olabilir.

Sonunda, Okaliptüs Mors ile ilerlemek zorunda kaldım. Sonunda onunla ilgili bazı temel sorunları bulmama rağmen, hepsinin olası çözüm yolları vardı.

Değerli katkılarınız için herkese teşekkürler!

[YASAL UYARI: Scality için çalışıyorum]

Amazon, AWS ürünlerinde çok aktif kalır ve API'larına çok sık ekleme ve değişiklik / iyileştirme yapar. Daha sonra% 100'e yakın uyumlu bir ürün bulmak zor olur (özellikle ticari ürünlerde, muhtemelen OSS ürünleri herhangi bir değişikliğe daha reaktif olacaktır). Birçok nesne / bulut depolama satıcısı bir süredir kendi protokolleriyle oynuyor (Atmos, DDN OpenStack'ın hızlısı ...), ancak çoğu zaman kendi protokollerinin S3 kadar yaygın olarak kullanılma fikrini terk ettiler. Hepsi (neredeyse?) S3 uyumlu bir arayüzü şimdi veya önümüzdeki aylarda duyuruyor. Her şeyden önce endüstri standardıdır. Geriye kalan tek rakip sadece Standart yapısı ve kar amacı gütmeyen, satıcı olmayan bir kuruluş olan SNIA'dan gelmesi nedeniyle CDMI olabilir. Ama o'

Mezeo gibi bahsettikleriniz (Okaliptüs ve Kümülüs), OpenStack (henüz inanmıyorum olmasına rağmen) gibi S3 uyumlu arayüze kadar birkaç seçenek var. Scality bunlardan bir diğeri.

Scality'nin S3 uygulaması (RS2 - REST Depolama Hizmeti olarak adlandırılır) S3'e çok yakındır, çünkü taleplerimiz / yanıtlarımız S3'ten alacağınız şeyle tutarlıdır. S3'ün altyapısına bağlı bazı işlevler açık nedenlerle mevcut değildir (örneğin Bölge seçimi). Ancak gerekli komutlar vardır: Bir nesneyi GET / PUT / DELETE, grup oluşturma ve listeleme; ve S3'ün yaptığı gibi tepki verir.

İkinci sorununuzu yanıtlamak için, Scality'nin ürünü RING'in, RING'de depolanan tüm nesnelerin kontrol toplamı ve arka plan bütünlük kontrollerini yaparak başvuruda bulunduğunuz veri bütünlüğü sorunlarını çözen bir yazılım nesnesi depolama platformu olduğunu ekleyebilirim. Bir nesneyi saklamak temelde işlemsel bir sorgudur ve bir nesne "başarıyla saklandığında" iddia edildiğinde, sonsuza kadar sabit bütünlük kontrolleriyle (örneğin her okumada) olacaktır.

Ayrıntılara girmeyeceğim. ortak veri yönetimi kabuslarından depolama yöneticilerini nasıl hafiflettiğimizi anlamak ve verilerinin kullanılabilir olduğunu bilerek geceleri uyumalarını sağlamak için web sitemize gidebilirsiniz. Her zaman. :)

Best, Marc Villemade (@mastachand) Instagram Profilini Görüntüle

Newdream's Ceph, Ceph Dosya Sistemi ile aynı nesne depolama sistemini kullanan S3 uyumlu bir fastcgi ağ geçidine sahiptir. ( http://ceph.newdream.net/wiki/RADOS_Gateway ) Üretime hazır değil, düzenli güncellemeler yapıyor.

Openstack'ın nesne deposunu, kullandığım s3 kitaplıklarıyla S3 uyumlu olmasa da veya bulut dosyalarının depolama hizmeti için (kendi hızlı sürümlerini kullanan) gerçekten rackspace'in kendi java istemcisiyle test etmemde daha güvenilir buldum. Gerçi s3 ve Swift desteğine sahip jclouds projesi benim için çalıştı.

Cloud Foundry vBlob'a da bakabilirsiniz: https://github.com/cloudfoundry/vblob

VM'nin görebileceği herhangi bir dosya sisteminin üzerine S3 protokolünün adil bir kısmını uygulayan bir node.js uygulaması (CF entegrasyonu için Ruby sarmalayıcı ile).

Hem s3ql (GNU GPL v3) hem de s3backer (GNU GPL v2) aradığınızı yapar.

Eski / cevap soru, ama https://github.com/basho/riak_cs sadece hiç açık kaynak kodlu edildi https://github.com/basho/riak_cs :. "RIAK CS RIAK üstüne inşa edilmiş bir nesne depolama sistemidir O kolaylaştırır büyük nesneleri Riak'ta depolar ve S3 uyumlu bir arayüz sunar. Ayrıca kullanıcı hesapları, kimlik doğrulama, erişim kontrol mekanizmaları ve hesap başına kullanım raporlaması gibi çoklu kiracılık özellikleri sunar. "

Eminim yukarıda çok fazla seçenek var hala OpenStack Swift kontrol etmelisiniz, onun bir OpenSource Nesne Depolama ve ayrıca S3 uyumlu API destekler. Rackspace, Hpcloud Korea Telecom ve diğerleri için nesne depolama çözümü olarak kullanılır.

Belgeler http://docs.openstack.org/developer/swift/associated_projects.html Swift3 https://github.com/fujita/swift3 OpenStack Swift için Swift3 Middleware, Amazon S3 API'sı üzerinden OpenStack swift erişimine izin verir.

Umarım yardımcı olur.

[YASAL UYARI: Cloudian için çalışıyorum]

Cloudian HyperStore nesne depolama yazılımı% 100 Amazon S3 API uyumludur. Tüm S3 API'lerini hata kodlarına ve Amazon S3'ün sahip olduğu tüm özelliklere kadar uygular.

Bazılarını listelemek için Cloudian HyperStore, Çok Parça Yükleme, Nesne Sürümleme, S3 uyumlu ACL, S3 ve Glacier için Otomatik Katmanlama, S3 Çapraz Kaynak Kaynağı Paylaşımı (CORS), S3 kodlama türü, konum kısıtlaması ve daha fazlasını destekler.

Ve evet, Cloudian ile PUT isteği ile birlikte bir Base64 (MD5 (FILE)) sağlayabilirsiniz, bu daha sonra bir başarı ile cevap vermeden önce doğrulanır.

Daha fazla bilgi için http://www.cloudian.com/blog/?p=64 ve http://www.cloudian.com/products/cloudian-hyperstore.php adresindeki Cloudian web sitesini ziyaret edin.

S3fs'yi kontrol ettin mi? İstediğiniz MD5 denetimine sahip değildir ( http://code.google.com/p/s3fs/issues/detail?id=37&q=md5 ), ancak bunu uygulamak son derece zor olmayacaktır. Dikkat edilmesi gereken, sonuçta tutarlı olmasıdır.