Ben geldim rağmen Kafka öncelikle burada son zamanlarda Kafka belki (esas) bir olarak kullanılabilir gerçekleştirilen CQRS , eventstore .

Kafka'nın desteklediği ana noktalardan biri:

• Olay yakalama / depolama, elbette tüm HA.
• Pub / alt mimari
• Yeni abonelerin sistemden sonra kayıt olmalarını sağlayan olay günlüğünü yeniden oynatma yeteneği.

Kuşkusuz CQRS / Event Sourcing'e% 100 tecrübeli değilim ama bu bir etkinlik deposunun ne olması gerektiğine oldukça yakın görünüyor. Komik olan şey: Kafka'nın bir etkinlik deposu olarak kullanılmasına dair pek bir şey bulamıyorum, belki de bir şeyleri kaçırıyorum.

Peki, Kafka'da iyi bir etkinlik mağazası olması için eksik olan bir şey var mı? Çalışır mıydı? Üretim mi kullanıyorsunuz? İçgörü, bağlantılar vb. İle ilgileniyor

Temel olarak, sistemin durumu, genel olarak yapılan sistemin geçerli durumunu / anlık görüntüsünü kaydetmek yerine, sistemin şimdiye kadar aldığı işlemlere / olaylara göre kaydedilir. (Muhasebede bir defteri kebir olarak düşünün: tüm işlemler nihayetinde nihai duruma eklenir) Bu, her türlü harika şeylere izin verir, ancak sağlanan bağlantıları okuyun.

Kafka, bir etkinlik mağazasına birçok benzerlik gösteren ancak girişlerini alıntılayan bir mesajlaşma sistemi olmalıdır:

Kafka kümesi, yayınlanmış olsun olmasın, yayınlanmış tüm mesajları yapılandırılabilir bir süre boyunca saklar . Örneğin, tutma iki gün için ayarlanmışsa, bir mesaj yayınlandıktan sonraki iki gün boyunca tüketim için kullanılabilir, bundan sonra yer açmak için atılır. Kafka'nın performansı, veri boyutuna göre etkin bir şekilde sabittir, bu nedenle çok fazla veriyi tutmak sorun değildir.

Bu nedenle, mesajlar potansiyel olarak süresiz olarak saklanabilirken, bunların silinmesi beklenir. Bu, bunu bir etkinlik mağazası olarak kullanamayacağınız anlamına gelmez, ancak başka bir şey kullanmak daha iyi olabilir. Alternatif için EventStore'a bir göz atın .

GÜNCELLEME

Kafka belgeleri :

Olay kaynağı, durum değişikliklerinin zaman sıralı bir kayıt dizisi olarak günlüğe kaydedildiği bir uygulama tasarımı stilidir. Kafka'nın çok büyük depolanmış günlük verileri desteği, bu tarzda oluşturulmuş bir uygulama için mükemmel bir arka uç olmasını sağlar.

GÜNCELLEME 2

Olay kaynağı için Kafka'yı kullanmakla ilgili bir endişe, gerekli konuların sayısıdır. Tipik olarak olay tedarikinde, varlık başına olay akışı (konu) vardır (kullanıcı, ürün vb.). Bu şekilde, bir varlığın mevcut durumu akıştaki tüm olayların yeniden uygulanmasıyla yeniden oluşturulabilir. Her Kafka konusu bir veya daha fazla bölümden oluşur ve her bölüm dosya sisteminde bir dizin olarak saklanır. Ayrıca zod sayısı arttıkça ZooKeeper'dan da baskı olacaktır.

Kafka'nın orijinal yazarlarından biriyim. Kafka, olay kaynağı için bir günlük olarak çok iyi çalışacak. Hataya dayanıklıdır, muazzam veri boyutlarına ölçeklendirilir ve yerleşik bir bölümleme modeline sahiptir.

Bunu bu formun LinkedIn'deki çeşitli kullanım durumları için kullanıyoruz. Örneğin, açık kaynaklı akış işleme sistemimiz Apache Samza, olay kaynağı için yerleşik desteğe sahiptir .

Olay kaynağı için öncelikle Kafka'yı kullanma hakkında pek bir şey duymadığını düşünüyorum çünkü olay kaynağı terminolojisi, Kafka'nın en popüler olduğu tüketici web alanında çok yaygın görünmüyor.

Ben Kafka kullanımının bu tarz hakkında biraz yazdım buraya .

Bu KG'ye geri gelmeye devam ediyorum. Ve mevcut cevapları yeterince incelikli bulamadım, bu yüzden bunu ekliyorum.

TL; DR. Etkinlik kaynağı kullanımınıza bağlı olarak Evet veya Hayır.

Farkında olduğum iki temel olay kaynaklı sistem vardır.

Akışaşağı olay işlemcileri = Evet

Bu tür bir sistemde, olaylar gerçek dünyada meydana gelir ve gerçekler olarak kaydedilir. Ürün paletlerini takip etmek için depo sistemi gibi. Temelde çelişen bir olay yoktur. Yanlış da olsa her şey zaten oldu. (Palet 123456, A kamyonuna konuldu, ancak B kamyonu için planlandı.) Daha sonra gerçekler, raporlama mekanizmaları yoluyla istisnalar için kontrol edilir. Kafka, bu tür aşağı akış, olay işleme uygulaması için çok uygun görünüyor.

Bu bağlamda Kafka halkının onu neden bir Olay Tedarik çözümü olarak savundukları anlaşılabilir. Örneğin, tıklama akışlarında zaten nasıl kullanıldığına oldukça benzer. Bununla birlikte, Etkinlik Sağlama terimini (Akış İşleme'nin aksine) kullanan kişiler muhtemelen ikinci kullanıma atıfta bulunmaktadır ...

Uygulama kontrollü gerçeğin kaynağı = Hayır

Bu tür bir uygulama, iş mantığından geçen kullanıcı istekleri sonucunda kendi olaylarını bildirir. Kafka bu durumda iki ana nedenden dolayı iyi çalışmıyor.

Varlık izolasyon eksikliği

Bu senaryo, belirli bir varlık için olay akışını yükleyebilmelidir. Bunun ortak nedeni, iş mantığının isteği işlemek için kullanması için geçici bir yazma modeli oluşturmaktır. Bunu yapmak Kafka'da pratik değildir. Varlık başına konu kullanmak buna izin verebilir, ancak bunun binlerce veya milyonlarca varlık olabileceği durumlarda başlatıcı olmamasıdır. Bu, Kafka / Zookeeper'daki teknik sınırlardan kaynaklanmaktadır.

Geçici bir yazma modelini bu şekilde kullanmanın ana nedenlerinden biri, iş mantığı değişikliklerini ucuz ve dağıtımı kolay hale getirmektir.

Bunun yerine Kafka için tür başına konu kullanılması önerilir, ancak bu, yalnızca tek bir varlığın etkinliklerini almak için bu türdeki her varlık için olayların yüklenmesini gerektirir . Hangi olayların hangi varlığa ait olduğunu günlük konumuna göre söyleyemeyeceğinizden. Bilinen bir günlük konumundan başlamak için Anlık Görüntüler'i kullansanız bile , bu kaybolacak önemli sayıda olay olabilir.

Çatışma tespiti eksikliği

İkinci olarak, kullanıcılar aynı varlığa karşı eşzamanlı istekler nedeniyle yarış koşulları oluşturabilir. Çatışan olayları kaydetmek ve olaydan sonra bunları çözmek oldukça istenmeyen bir durum olabilir. Bu nedenle, çelişen olayları önleyebilmek önemlidir. İstek yükünü ölçeklendirmek için, koşullu yazma işlemlerini kullanarak yazma çakışmalarını önlerken vatansız hizmetlerin kullanılması yaygındır (yalnızca son varlık etkinliği #x ise yazma). Aka İyimser Eşzamanlılık. Kafka iyimser eşzamanlılığı desteklemiyor. Konu düzeyinde desteklese bile, etkili olabilmek için varlık düzeyine kadar inmesi gerekir. Kafka'yı kullanmak ve çakışan olayları önlemek için, uygulama düzeyinde durum bilgisi olan, seri hale getirilmiş bir yazar kullanmanız gerekir. Bu önemli bir mimari gereklilik / kısıtlamadır.

Daha fazla bilgi

Yorum başına güncelleme

Yorum silindi, ancak soru şöyleydi: insanlar olay depolama için ne kullanıyor?

Çoğu insan kendi olay depolama uygulamasını mevcut bir veritabanının üzerine yuvarlıyor gibi görünüyor. Dahili arka uçlar veya bağımsız ürünler gibi dağıtılmamış senaryolar için, SQL tabanlı bir olay deposunun nasıl oluşturulacağı iyi belgelenmiştir . Ve çeşitli veri tabanlarının üstünde kütüphaneler mevcuttur. Bu amaçla inşa edilmiş EventStore da var .

Dağıtılmış senaryolarda, birkaç farklı uygulama gördüm. Jet Panther projesi dinleyicileri bilgilendirmek için Feed Değiştir özelliğiyle Azure CosmosDB'yi kullanır . AWS'de duyduğum bir diğer benzer uygulama, dinleyicileri bilgilendirmek için Akış özelliği ile DynamoDB'yi kullanmaktır. Bölüm anahtarı, muhtemelen en iyi veri dağıtımı için (aşırı sağlama miktarını azaltmak için) akış kimliği olmalıdır. Bununla birlikte, Dinamo'da akışlar arasında tam bir tekrar yapmak pahalıdır (okuma ve maliyet açısından). Bu impl, Dynamo Streams'in olayları S3'e dökmesi için de kuruldu. Yeni bir dinleyici çevrimiçi olduğunda veya mevcut bir dinleyici tam bir yeniden çalma istediğinde, ilk önce S3'ü okur.

Şu anki projem çok kiracılı bir senaryodur ve Postgres'in üzerine kendi senaryomu attım. Citus gibi bir şey ölçeklenebilirlik için uygun görünüyor ve tentant + akışı ile bölünüyor.

Kafka dağıtılmış senaryolarda hala çok faydalıdır. Her hizmetin olaylarını diğer hizmetlere göstermek önemsiz bir sorundur. Bir etkinlik mağazası genellikle bunun için inşa edilmemiştir, ancak tam olarak Kafka'nın yaptığı şey budur. Her hizmetin kendi iç gerçeği vardır (olay depolama veya başka türlü olabilir), ancak Kafka'yı "dışarıda" neler olduğunu bilmek için dinler. Hizmet ayrıca Kafka'ya hizmetin yaptığı ilginç şeylerin "dışını" bildirmek için etkinlikler de gönderebilir.

Kafka'yı etkinlik mağazası olarak kullanabilirsiniz, ancak iyi bir seçim gibi görünse de bunu önermiyorum:

• Kafka en az bir kez teslimat garantisi veriyor ve etkinlik mağazasında kaldırılamayan kopyalar var. Güncelleme: Burada Kafka ile neden bu kadar zor olduğunu ve nihayet bu davranışa nasıl ulaşılacağıyla ilgili en son haberleri okuyabilirsiniz: https://www.confluent.io/blog/exactly-once-semantics-are-possible-heres-how -apache-kafka-does-it /
• Değişmezlik nedeniyle, uygulama geliştiğinde ve olayların dönüştürülmesi gerektiğinde olay deposunu manipüle etmenin bir yolu yoktur (elbette upcasting gibi yöntemler vardır, ancak ...). Bir zamanlar asla etkinlikleri dönüştürmeniz gerekmediğini söyleyebilir, ancak bu doğru bir varsayım değildir, orijinalin yedeğini aldığınız bir durum olabilir, ancak bunları en son sürümlere yükseltirsiniz. Olay güdümlü mimarilerde bu geçerli bir gerekliliktir.
• Varlıkların / kümelerin anlık görüntülerini kalıcı hale getirecek yer yoktur ve yeniden oynatma yavaşlar ve yavaşlar. Anlık görüntüler oluşturmak, olay deposu için uzun vadeli perspektifte yer almalıdır.
• Verilen Kafka bölümleri dağıtılır ve veritabanlarıyla karşılaştırıldığında yönetilmesi ve yedeklenmesi zordur. Veritabanları basittir :-)

Yani, seçiminizi yapmadan önce iki kez düşünürsünüz. Uygulama katmanı arayüzleri (izleme ve yönetim), SQL / NoSQL mağazası ve aracı olarak Kafka'nın bir arada olduğu etkinlik deposu, tam özellik tam çözüm oluşturmak için Kafka'nın her iki rolü de bırakmasından daha iyi bir seçimdir.

Etkinlik mağazası, etkinlik odaklı mimaride Olay kaynağı, CQRS, Sagas ve diğer kalıpları uygulamak ve yüksek performansta kalmak konusunda ciddi iseniz Kafka'nın sunabileceğinden daha fazlasını gerektiren karmaşık bir hizmettir.

Cevabımı sorgulamaktan çekinmeyin! Çok sayıda üst üste binme yeteneğine sahip favori komisyoncunuz hakkında söylediklerimi beğenmeyebilirsiniz, ancak yine de Kafka, etkinlik mağazası olarak tasarlanmadı, ancak aynı zamanda hızlı üreticileri ve yavaş tüketici senaryolarını ele almak için aynı zamanda yüksek performanslı komisyoncu ve tampon olarak tasarlandı, Örneğin.

Olası sorunlar hakkında daha fazla bilgi edinmek için lütfen eventuate.io mikro hizmet açık kaynak çerçevesine bakın: http://eventuate.io/

8 Şubat 2018 itibariyle güncelleme

Yorumlardan yeni bilgiler eklemiyorum, ancak bu yönlerden bazılarını kabul ediyorum. Bu güncelleştirme, mikro hizmet etkinliğine dayalı platform için bazı öneriler hakkında daha fazla bilgi içerir. Mikro hizmet sağlam tasarımı ve genel olarak mümkün olan en yüksek performans konusunda ciddi iseniz, size ilginizi çekebilecek birkaç ipucu vereceğim.

1. Bahar kullanmayın - harika (çok fazla kullanıyorum), ama aynı zamanda ağır ve yavaş. Ve hiç de mikro hizmet platformu değil. Bu sadece bir çerçeve (bunun arkasında çok fazla iş ..) yardımcı olmak için bir çerçeve. Diğer çerçeveler "sadece" hafif REST veya JPA veya farklı odaklanmış çerçevelerdir. Muhtemelen saf Java köklerine geri dönen sınıfının en iyisi açık kaynaklı eksiksiz mikro hizmet platformunu öneriyorum: https://github.com/networknt

Performansı merak ediyorsanız, kendinizi mevcut kıyaslama paketi ile karşılaştırabilirsiniz. https://github.com/networknt/microservices-framework-benchmark

2. Kafka'yı hiç kullanma :-)) Yarı şaka. Yani Kafka harika olsa da, başka bir broker merkezli sistem. Geleceğin aracısız mesajlaşma sistemlerinde olduğunu düşünüyorum. Şaşırmış olabilirsiniz ama Kafka sistemlerinden daha hızlı var :-), elbette daha düşük seviyeye inmelisiniz. Chronicle'a bak.

3. Event store için, büyük hacimlerde yüksek performanslı zaman çizelgeleri veri işlemesine (olaylar zaman çizelgeleri) odaklanan TimescaleDB adlı üstün Postgresql uzantısını öneriyorum. Tabii ki CQRS, Olay kaynağı (tekrar oynatma vb. Özellikler), Postgres'i düşük depolama alanı olarak kullanan kutunun dışında light4j çerçevesinde oluşturulmuştur.

4. Mesajlaşma için Chronicle Queue, Map, Engine, Network'e bakmayı deneyin. Bu eski moda broker merkezli çözümlerden kurtulun ve mikro mesajlaşma sistemi (gömülü olan) ile gidin. Chronicle Queue aslında Kafka'dan bile daha hızlı. Ancak tüm bunların tek bir çözümde olmadığını kabul ediyorum ve aksi takdirde Enterprise sürümü (ücretli) satın alıp satın almanız gerekiyor. Sonunda Chronicle'dan inşa etme çabası, Kafka kümesini koruma yükünü kaldırarak kendi mesajlaşma katmanınıza ödenecektir.

Evet, Kafka'yı etkinlik mağazası olarak kullanabilirsiniz. Özellikle , olaylarınızı sorgulayabileceğiniz birikmiş bir duruma dönüştürmek için Kafka-yerli bir yol sağlayan Kafka Streams'in tanıtımı ile oldukça iyi çalışıyor .

ilgili olarak:

Yeni abonelerin sistemden sonra kayıt olmalarını sağlayan olay günlüğünü yeniden oynatma yeteneği.

Bu zor olabilir. Bunu burada ayrıntılı olarak ele aldım: https://stackoverflow.com/a/48482974/741970

Evet, Kafka özellikle CQRS olay kaynağı modelinde iyi çalışıyor, ancak konular için TTL'ler ayarlarken dikkat ettiniz ve Kafka'nın bu model için tasarlanmadığını her zaman aklınızda bulundurun, ancak çok iyi kullanabiliriz.

Sanırım Kafka'ya destekleriyle birlikte akson çerçevesine bakmalısın