Kafka Konularını ve Bölümlerini Anlama

Kurumsal çözüm amaçlı Kafka öğrenmeye başlıyorum.

Okumalarım sırasında aklıma bazı sorular geldi:

1. Bir üretici bir mesaj ürettiğinde - mesajı göndermek istediği konuyu belirleyecektir, doğru mu? Bölümleri önemsiyor mu?
2. Bir abone çalışırken - aynı konunun tüketici kümesinin veya bu tüketici grubunun ilgilendiği birkaç konunun parçası olabilmesi için grup kimliğini belirtir mi?

3. Her tüketici grubunun aracıda karşılık gelen bir bölümü var mı veya her bir tüketicinin bir bölümü var mı?

4. Bölümler aracı tarafından oluşturulur ve bu nedenle tüketiciler için bir endişe kaynağı olmaz mı?

5. Bu, her bölüm için ofseti olan bir kuyruk olduğundan, okumak istediği iletileri belirtmek tüketicinin sorumluluğunda mıdır? Durumunu kurtarması gerekiyor mu?

6. Bir mesaj kuyruktan silindiğinde ne olur? - Örneğin: tutma 3 saat sürdü, sonra zaman geçti, ofset her iki tarafta nasıl ele alınıyor?

Bu gönderinin zaten cevapları var, ancak Kafka Definitive Guide'dan birkaç fotoğrafla görüşümü ekliyorum

Her bir soruyu cevaplamadan önce, üretici bileşenlerine genel bir bakış ekleyelim:

1. Bir üretici bir mesaj ürettiğinde - Mesajı göndermek istediği konuyu belirleyecektir, doğru mu? Bölümleri önemsiyor mu?

Üretici, aşağıdakilere bağlı olarak herhangi bir mesaj yerleştirmek için hedef bölüme karar verecektir:

• Mesajda belirtilmişse, bölüm kimliği
• bölüm kimliği belirtilmemişse % num bölümlerini anahtarla
• Mesajda ne bölüm kimliği ne de mesaj anahtarı mevcut ise, yalnızca değer kullanılabilir demektir.

2. Bir abone çalışırken - Aynı kimliğe sahip tüketici kümesinin veya bu tüketici grubunun ilgilendiği birkaç konunun parçası olabilmesi için grup kimliğini belirtir mi?

Basit atama API'sını kullanmadığınız ve ofsetleri Kafka'da depolamanız gerekmediği sürece group.id dosyasını her zaman yapılandırmalısınız . Hiçbir grubun parçası olmayacak. kaynak

3. Her tüketici grubunun aracıda karşılık gelen bir bölümü var mı veya her tüketicinin bir bölümü var mı?

Bir tüketici grubunda, her bölüm yalnızca bir tüketici tarafından işlenir . Bunlar olası senaryolar

• Tüketici sayısı konu bölümü sayısından az ise gruptaki tüketicilerden birine birden çok bölüm atanabilir
• Aynı tüketici sayısıKonu bölümü sayısı ile sayısı, daha sonra bölüm ve tüketici eşlemesi aşağıdaki gibi olabilir,
• Tüketici sayısı konu bölümü sayısından daha fazla , daha sonra bölüm ve tüketici eşlemesi aşağıda görüldüğü gibi olabilir, Etkili değil, kontrol edin Tüketici 5

4. Aracı tarafından oluşturulan bölümler, bu nedenle tüketiciler için bir endişe değil mi?

Tüketici , 3. soruda tartışıldığı gibi bölüm sayısının farkında olmalıdır .

5. Bu, her bölüm için ofseti olan bir kuyruk olduğundan, okumak istediği iletileri belirtmek tüketicinin sorumluluğunda mıdır? Durumunu kurtarması gerekiyor mu?

Kafka (spesifik olarak Grup Koordinatörü ), bir iç bir mesaj üreterek ofset devlet ilgilenir __consumer_offsets konu, bu davranış kılavuzu için yapılandırılabilir yanı tarafından ayarı olabilir enable.auto.commitiçin false. Bu durumda consumer.commitSync()ve consumer.commitAsync()ofseti yönetmek için yardımcı olabilir.

Grup Koordinatörü hakkında daha fazla bilgi :

1. Kafka sunucusu tarafından kümede seçilen brokerlerden biri.
2. Tüketiciler, ofset taahhütleri ve getirme talepleri için Grup Koordinatörü ile etkileşime girer.
3. Tüketici, Grup Koordinatörüne periyodik kalp atışı gönderir.

6. Bir mesaj kuyruktan silindiğinde ne olur? - Örneğin: Tutma 3 saat sürdü, sonra zaman geçti, ofset her iki tarafta da nasıl ele alınıyor?

Herhangi bir tüketici saklama döneminden sonra başlarsa, auto.offset.resetolabilecek yapılandırma başına mesajlar tüketilir latest/earliest. teknik olarak latest(yeni iletileri işlemeye başlayın) çünkü o zamana kadar tüm iletilerin süresi dolmuş ve elde tutma konu düzeyinde yapılandırmadır.

Bunları sırayla alalım :)

1 - Bir üretici bir mesaj ürettiğinde - Mesajı göndermek istediği konuyu belirleyecektir, doğru mu? Bölümleri önemsiyor mu?

Varsayılan olarak, üretici bölümlemeyi önemsemez. Daha iyi bir kontrole sahip olmak için özelleştirilmiş bir bölümleyici kullanma seçeneğiniz vardır, ancak tamamen isteğe bağlıdır.

2 - Bir abone çalışırken - Aynı kimliğin tüketici kümesinin veya bu tüketici grubunun ilgilendiği birkaç konunun parçası olabilmesi için grup kimliğini belirtir mi?

Evet, tüketiciler yükü paylaşmak için bir tüketici grubuna katılır (ya da yalnızlarsa yaratır). Aynı gruptaki hiçbir tüketici aynı mesajı alamayacak.

3 - Her tüketici grubunun aracıda karşılık gelen bir bölümü var mı veya her bir tüketicinin bir bölümü var mı?

Ne. Bir tüketici grubundaki tüm tüketicilere iki koşul altında bir dizi bölüm atanır: aynı gruptaki hiçbir iki tüketicinin ortak bir bölümü yoktur - ve bir bütün olarak tüketici grubuna mevcut her bölüme atanır.

4 - Bölmeler aracı tarafından yaratıldı, bu nedenle tüketiciler için bir endişe değil mi?

Öyle değiller, ancak 3'ten mevcut bölümlerden daha fazla tüketiciye sahip olmanın tamamen işe yaramaz olduğunu görebilirsiniz, bu nedenle tüketmek için maksimum paralellik seviyeniz.

5 - Bu, her bölüm için ofseti olan bir kuyruk olduğundan, okumak istediği iletileri belirtmek tüketicinin sorumluluğunda mıdır? Durumunu kurtarması gerekiyor mu?

Evet, tüketiciler bölüm başına konu başına bir denge kaydeder. Bu tamamen Kafka tarafından halledilir, endişelenmeyin.

6 - Bir mesaj kuyruktan silindiğinde ne olur? - Örneğin: Tutma 3 saat sürdü, sonra zaman geçti, ofset her iki tarafta nasıl ele alınıyor?

Bir tüketici, aracılar üzerindeki bir bölüm için uygun olmayan bir ofset isterse (örneğin, silme nedeniyle), bir hata moduna girer ve sonuçta bu bölüm için kendisini en son veya en eski iletiye sıfırlar ( auto.offset.reset yapılandırma değeri) ve çalışmaya devam edin.

Kafka, mesaj akışına düzen getirmek için gelen Konu anlayışını kullanır .

Yükü dengelemek için, bir konu birden fazla bölüme ayrılabilir ve aracılar arasında çoğaltılabilir.

Bölümler sıralanmıştır, sürekli olarak eklenen mesajların değişmez dizileri yani bir kayıt günlüğüdür.

Bölümdeki iletiler, bölümdeki her iletiyi benzersiz şekilde tanımlayan sıralı bir kimlik numarasına sahiptir.

Bölümler, bir konunun günlüğünün tek bir sunucuya (aracıya) sığacak bir boyutun ötesine ölçeklenmesine ve paralellik birimi olarak davranmasına izin verir.

Bir konunun bölümleri, her bir aracının verileri işlediği ve bölümlerin paylaşımını istediği Kafka kümesindeki aracılara dağıtılır.

Her bölüm, hata toleransını sağlamak için yapılandırılabilir sayıda aracıda çoğaltılır.

Bu makalede iyi açıklanmıştır: http://codeflex.co/what-is-apache-kafka/