Zookeeper'ın Gerçek Dünyada Kullanımı [kapalı]

Son zamanlarda Zookeeper'a bakıyordum ve şu anda kimsenin kullanıp kullanmadığını ve özellikle depolamak için ne kullandıklarını merak ettim.

En yaygın kullanım durumu yapılandırma bilgileri içindir, ancak ne tür veriler ve ne kadar veri depoluyorsunuz?

Apache CXF uygulama DOSGi onun hizmet kaydı deposu için Görevli kullanır. Ayrı kapsayıcılar, tüm hizmet olaylarını ve dağıtımı gösteren bir özelliğe sahip bir hizmet durumu değiştiğinde dinleyen dağıtılmış bir yazılım (dsw) paketine sahiptir. Dsw, referans uygulama durumunda hizmeti geçici düğümler olarak depolamak için zookeeper kullanan keşif paketiyle konuşur. Diğer örnekler, düğüm yapısındaki değişiklikleri arayacak ve proxy'leri yerel sistemlerine kaydedecektir. Sonuç olarak, düz OSGi'ye kod yazabilir ve şeffaf dağıtım elde edebilirsiniz.

ZooKeeper Tarafından Desteklenen Ücretsiz Yazılım Projeleri:

• AdroitLogic UltraESB
• Akka
• Eclipse İletişim Çerçevesi
• Eclipse Gyrex
• GoldenOrb
• juju
• Katta
• KeptCollections
• Mesos
• Neo4j
• Norbert
• Talend ESB
• redis_failover

ZooKeeper Tarafından Desteklenen Apache Projeleri:

• Apache Accumulo
• Apache BookKeeper
• Apache CXF DOSGi
• Apache Flume
• Apache Hadoop MapReduce
• Apache HBase
• Apache Hedwig
• Apache Kafka
• Apache S4
• Apache Solr

Kaynak: https://cwiki.apache.org/confluence/display/ZOOKEEPER/PoweredBy

HBase, mevcut sürümden önceki "baş düğümü" nün sorumlu olduğu etkinlikleri koordine etmek için Zookeeper'ı kullanıyor. Zookeeper'ı kullanmaya geçiş, merkezi kontrolün artık tek bir başarısızlık noktası olmadığı anlamına gelir.

Zookeeper çok yönlüdür; burada dağıtılmış bir eşzamanlı kuyruk oluşturmak için kullanmanın bir örneği:

http://blog.cloudera.com/blog/2009/05/building-a-distributed-concurrent-queue-with-apache-zookeeper/

Tabii ki, dağıtılmış bir sistemde kaynak kilitleri vb. Oluşturmak için de kullanabilirsiniz.

Eski soru, ancak bu sayfa hayvan bakıcısı kullanım durumları için yapılan bir Google aramasında ilk sırada geldiğinden, güncellenmiş bir liste vermenin en iyisi olacağını düşündüm

1. wikipedia
2. zookeeper wiki
3. gerçek kullanıcılar

Norbert , ölçeklenebilir bir üretim sisteminden iyi bir örnek. Genel olarak, Netty, Protokol Tamponları ve Zookeeper'ı kümelenmiş hizmetleri çalıştırmak için hafif bir çerçeveye entegre eder. Protokol Arabellekleri hizmet API'nizi belirtmek için kullanılır, Netty aktarım katmanı soyutlamalarını uygular ve Zookeeper aslında hataya dayanıklı bir keşif hizmetidir.

Norbert, bir hizmet örneğinin her başlatılışında, onu belirli bir hizmet türünün kullanılabilir örneği olarak kaydeder. Uygulama açısından, iki Zookeeper ağacı oluşturur:

• Hizmetin bilinen tüm örneklerini listeleyen "/ ServiceName / members"
• Hizmetin şu anda mevcut örneklerini listeleyen "/ ServiceName / available"

Her düğüm için en önemli özellik, ilgili hizmet örneğine bağlanmak için kullanılacak url'dir. İstemci tarafı yük dengelemesini mümkün kılar - bir Norbert istemcisi belirli bir hizmet adı için url'lerin listesini bulur ve bunlardan birine bağlanma girişimi bir sırayla (örneğin, sıralı veya rastgele).

Elastic Cloud'da ZooKeeper hakkında ZooKeeper - The King of Coordination hakkında güzel bir makale var .

Örneğin Found'da, ZooKeeper'ı keşif, kaynak tahsisi, lider seçimi ve yüksek öncelikli bildirimler için yoğun bir şekilde kullanıyoruz. Bu makalede, sizi bu Koordinasyon Kralı ile tanıştıracağız ve Found at ZooKeeper'ı nasıl kullandığımıza yakından bakacağız.

Solr ayrıca ZooKeeper'ı entegre etmek için çalışıyor . Burada dinamik yapılandırma, parçalama, SPOF eleme (ana / bağımlı seçimi), yeniden dengeleme vb. İçin kullandıklarını görebilirsiniz.

• Storm , birkaç şirket tarafından kullanılıyor (Twitter ve Groupon en iyi bilinen iki şirkettir) ve Zookeeper'a güveniyor.
• Kafka , Linkedin tarafından kullanılır ve Zookeeper'a güvenir.

Storm , tüm durumu depolamak için Zookeeper'ı kullanır, böylece herhangi bir (dağıtılmış) bileşen hizmetindeki bir kesintiden kurtarabilir.

Bu, bileşen hizmetlerinin durum bilgisi içermemesine ve yapılandırma verileri gerektiğinde Zookeeper sunucularına basitçe indirilmesine veya senkronize edilmesine olanak tanır. Bir üretim sunucusunu kurtarmak zorunda kaldıysanız, bunun ne kadar baş ağrısı olabileceğini bileceksiniz!

Kafka kuyruğu tüketicileri, kuyruktan ne tüketildiğine ilişkin bilgileri (yüksek su işareti) depolamak için Zookeeper'ı kullanabilir.

Benim durumumda, küme kullanımı için yapılandırma dosyalarını zookeeper topluluğunda depoluyoruz. Lider -> takipçi şeması kullanıyoruz. Yani bir hayvanat bahçesi görevlisi yere düştüğünde, diğerine geçiyoruz (çoğaltılmış mod)

Zookeeper, yapılandırma dışında birçok şey için kullanıldı. Burada zookeeper kullanan dağıtılmış ilkellerin resmi listesi bulunmaktadır.

https://zookeeper.apache.org/doc/current/recipes.html

Neo4j, Zookeeper'ı Yüksek Erişilebilirlik kurumsal sunucusunu kullanıyor! http://docs.neo4j.org/chunked/milestone/ha.html

datomic , riak tabanlı veri depolamayı yönetmek için apache zookeeper'ı kullanır.

Riak şu anda yalnızca nihai tutarlılığı desteklediğinden, Riak üzerinde çalışan bir Datomic sistemi ayrıca yüksek düzeyde erişilebilir bir koordinasyon hizmeti olan Apache ZooKeeper'ı da kullanır. Datomic, işlemcilerin yük devretme koordinasyonu için ve CAS ile güncellenmesi gereken veritabanı başına bir avuç anahtar için ZooKeeper'ı kullanır. kaynak: http://blog.datomic.com/2012/11/riak-and-couchbase-support.html

HBase'in ZooKeeper'ı nasıl kullandığına dair bazı ayrıntılar ve gelecekte onu nasıl kullanmayı planladıklarına dair bilgiler burada. Genellikle, ZooKeeper kullanılarak gerçekleştirilen Lider seçimi yoluyla bölge sunucularında SPOF'u ortadan kaldırmak için kullanırlar.