Kafka: Sürekli FETCH_SESSION_ID_NOT_FOUND


11

Sürekli FETCH_SESSION_ID_NOT_FOUND alıyorum. Neden olduđundan emin deđilim. Burada kimse bana sorunun ne olduğunu ve tüketiciler ve brokerlar üzerindeki etkisi ne olacak lütfen.

Kafka Sunucu Günlüğü:

INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,078] [ReplicaFetcherThread-44-10][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=10, fetcherId=44] Node 10 was unable to process the fetch request with (sessionId=518415741, epoch=4416): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,890] [ReplicaFetcherThread-32-9][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=9, fetcherId=32] Node 9 was unable to process the fetch request with (sessionId=418200413, epoch=3634): FETCH_SESSION_ID_NOT_FOUND.

Kafka Tüketici Günlüğü:

12:29:58,936 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 8 was unable to process the fetch request with (sessionId=1368981303, epoch=60): FETCH_SESSION_ID_NOT_FOUND.
12:29:58,937 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1521862194, epoch=59): FETCH_SESSION_ID_NOT_FOUND.
12:29:59,939 INFO  [FetchSessionHandler:383] [Consumer clientId=zoneGroupMap#87e2af7cf742#test, groupId=zoneGroupMap#87e2af7cf742#test] Node 7 was unable to process the fetch request with (sessionId=868804875, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:06,952 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1135396084, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:12,965 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 6 was unable to process the fetch request with (sessionId=1346340004, epoch=56): FETCH_SESSION_ID_NOT_FOUND.

Küme Ayrıntıları:

Broker: 13 (1 Broker : 14 cores & 36GB memory)
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15. 
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only) 

Aynı hatayı Kafka Java istemcisi sürüm 2.3.1 ile alıyorum. Herhangi bir fikri olan var mı?
Bert S.

BertS. Bu değeri artırınmax.incremental.fetch.session.cache.slots
Hrishikesh Mishra

Merhaba @HrishikeshMishra bu (yukarıdaki yorum) bu sorun için bulduğunuz çözüm müydü? Yazınıza bir cevap olarak ve mümkünse biraz açıklama ile eklemeyi düşünür müsünüz. Aynı sorunu yaşıyorum, yukarıdaki çözümünüzü test edeceğim.
Jorge Campos

Bu bir INFO günlüğüdür. Sadece görmezden gelmenin etkileri nelerdir?
Bert S.

Yanıtlar:


1

Değerini artırın max.incremental.fetch.session.cache.slots. Varsayılan değer 1K, benim durumumda 10K'ya yükselttim ve düzeltildi.


Bu, aracıda bir ayar mı?
Bert S.

Evet, broker ayarı
Hrishikesh Mishra

Tüketici veya üretici tarafında yapılabilecek bir şey var mı?
Bert S.

Üretici ve tüketici tarafında hiçbir şey gerekmez.
Hrishikesh Mishra

Tüketicimdeki hatayı görüyorum. Aracının kendisini değiştirme erişimim yok. Bu benim için bir endişe mi olmalı?
Bert S.

0

İlk önce 1K'dan 2K'ya ve ikinci adımda 2K'dan 4K'ya yükselttim ve sınır tükenmediği sürece hata görünümü yoktu:

resim açıklamasını buraya girin

resim açıklamasını buraya girin

Bana belli belirsiz bir tüketici tarafından bir seans sızıntısı gibi göründüğü gibi, henüz 10 bin limit denemedim, ama Hrishikesh Mishra'nın cevabını okurken kesinlikle yapacağım. Çünkü, sınırın arttırılması hata sıklığını da azalttı, bu yüzden burada bahsedilen çok sayıda artımlı getirme oturumu açan bireysel tüketici gruplarını tanımlama sorunu Kafka kümesinde kullanılan artımlı getirme oturumu önbellek yuvalarının gerçek sayısı nasıl kontrol edilir? , sonunda alakasız olabilir.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.