«apache-kafka» etiketlenmiş sorular

Kafka yerine RabbitMQ'yu değerlendirmem istendi, ancak Kafka'dan daha iyi bir şey yapmasının bir nedenini bulmakta zorlandım. Verim, dayanıklılık, gecikme veya kullanım kolaylığı açısından gerçekten daha iyi olup olmadığını bilen var mı?

333 rabbitmq  apache-kafka  message-queue 

Ben geldim rağmen Kafka öncelikle burada son zamanlarda Kafka belki (esas) bir olarak kullanılabilir gerçekleştirilen CQRS , eventstore . Kafka'nın desteklediği ana noktalardan biri: Olay yakalama / depolama, elbette tüm HA. Pub / alt mimari Yeni abonelerin sistemden sonra kayıt olmalarını sağlayan olay günlüğünü yeniden oynatma yeteneği. Kuşkusuz CQRS / …

219 cqrs  event-sourcing  apache-kafka  dddd 

Kafka'da konuyu temizlemenin bir yolu var mı? Yerel makinemdeki bir kafka mesajı konusuna çok büyük bir mesaj ittim, şimdi bir hata alıyorum: kafka.common.InvalidMessageSizeException: invalid message size Artırmak fetch.sizeburada ideal değil, çünkü aslında bu kadar büyük mesajları kabul etmek istemiyorum.

185 apache-kafka  purge 

Kurumsal çözüm amaçlı Kafka öğrenmeye başlıyorum. Okumalarım sırasında aklıma bazı sorular geldi: Bir üretici bir mesaj ürettiğinde - mesajı göndermek istediği konuyu belirleyecektir, doğru mu? Bölümleri önemsiyor mu? Bir abone çalışırken - aynı konunun tüketici kümesinin veya bu tüketici grubunun ilgilendiği birkaç konunun parçası olabilmesi için grup kimliğini belirtir mi? …

185 apache-kafka  kafka-consumer-api  kafka-producer-api 

Kafka'yı kullanmaya çalışıyorum. Tüm yapılandırmalar düzgün bir şekilde yapılıyor ancak konsoldan mesaj üretmeye çalıştığımda aşağıdaki hatayı almaya devam ediyorum WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) Kafka versiyonu: 2.11-0.9.0.0

172 apache-kafka  producer 

Kafka için nispeten yeniyim. Ben biraz denemek yaptım, ama tüketici telafisi ile ilgili birkaç şey benim için belirsiz. Şimdiye kadar anladığım kadarıyla, bir tüketici başladığında, okumaya başlayacağı ofset, yapılandırma ayarı tarafından belirlenir auto.offset.reset(yanlışsam beni düzeltin). Şimdi örneğin, konuyla ilgili 10 mesaj olduğunu (0 ila 9 ofseti) olduğunu ve bir tüketicinin …

170 java  distributed-computing  apache-kafka 

Yeni bir hizmet (RDBMS olmayan bir veri deposu veya ileti kuyruğu gibi) kullanırken ilk düşündüğüm şeylerden biri: "Verilerimi nasıl yapılandırmalıyım?". Bazı tanıtım materyallerini okudum ve izledim. Özellikle, örneğin Kafka: Günlük İşleme için Dağıtılmış Mesajlaşma Sistemi'ni şöyle ele alalım : "Konu, mesajların ilişkilendirildiği kapsayıcıdır" "Paralelliğin en küçük birimi bir konunun bölümüdür. …

168 apache-kafka 

Kafka'da tek bir üretici ve birden çok tüketiciye sahip tek bir aracı, tek bir konu ve tek bir bölüm kullanmak istiyorum (her tüketici komisyoncudan kendi veri kopyasını alıyor). Bu göz önüne alındığında, Zookeeper'ı kullanmanın ek yükünü istemiyorum; Sadece komisyoncuyu kullanamaz mıyım? Bir hayvan bakıcısı neden zorunludur?

136 partitioning  apache-zookeeper  producer-consumer  apache-kafka  broker 

Java Producer API ile Kafka V. 0.8'e dizgi mesajları gönderiyorum. Mesaj boyutu yaklaşık 15 MB ise, bir MessageSizeTooLargeException. message.max.bytes40 MB olarak ayarlamayı denedim , ancak yine de istisna alıyorum. Küçük mesajlar sorunsuz çalıştı. (İstisna yapımcıda görünüyor, bu uygulamada tüketicim yok.) Bu istisnadan kurtulmak için ne yapabilirim? Örnek yapımcı yapılandırmam private …

120 java  apache-kafka 

Linux'ta kafka versiyonu nasıl bulunur? Yüklü kafka sürümünü indirirken sürümden bahsetmek dışında bulmanın bir yolu var mı?

107 apache-kafka 

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Şu anda, anahtarlı mesajların parçası olarak herhangi bir anahtarsız mesaj gönderiyorum, yine de çalışacak delete.retention.msmı? Mesajın bir parçası olarak bir anahtar göndermem gerekiyor mu? Mesajın bir parçası olarak anahtar yapmak iyi mi?

105 apache-kafka  kafka-consumer-api  kafka-producer-api 

Apache Kafka: Dağıtılmış mesajlaşma sistemi Apache Storm: Gerçek Zamanlı Mesaj İşleme Olay verilerini işlemek için gerçek zamanlı bir veri hattında her iki teknolojiyi nasıl kullanabiliriz? Gerçek zamanlı veri hattı açısından her ikisi de bana aynı işi yapıyor gibi görünüyor. Bir veri hattında her iki teknolojiyi nasıl kullanabiliriz?

102 apache-storm  apache-kafka  data-integration 

Geçenlerde Kafka'yı öğrenmeye başladım ve bu sorularla bitirdim. Tüketici ve Akış arasındaki fark nedir? Bana göre herhangi bir araç / uygulama Kafka'dan mesaj tüketirse Kafka dünyasında bir tüketicidir. Akış, Kafka'dan mesajlar tükettiği ya da ürettiği için ne kadar farklı? Tüketici API kullanarak kendi tüketici uygulamamızı yazıp gerektiği gibi işleyebildiğimiz veya …

100 apache-kafka  kafka-consumer-api  apache-kafka-streams 

testApache Kafka 0.8.1.1'deki konuyu silmem gerekiyor. Buradaki belgelerde ifade edildiği gibi, şunları yaptım: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Ancak bu, aşağıdaki mesajla sonuçlanır: Command must include exactly one action: --list, --describe, --create or --alter Bu konuyu nasıl silebilirim?

98 apache-kafka 

Kapalı . Bu soruya daha çok odaklanılması gerekiyor . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek mi istiyorsunuz? Soruyu, yalnızca bu gönderiyi düzenleyerek tek bir soruna odaklanacak şekilde güncelleyin . 10 ay önce kapalı . Bu soruyu geliştirin Tüm örnekler arasında Kafka | üreticiler , ProducerRecordanahtar / değer çiftini …

97 apache-kafka  message-queue  messaging  key-value  messagebroker