Mesajın işlenmesi başarısız olursa aynı mesajı tekrar kullanın

Confluent.Kafka .NET istemci sürüm 1.3.0 kullanıyorum. Belgeleri takip ediyorum :

var consumerConfig = new ConsumerConfig
{
    BootstrapServers = "server1, server2",
    AutoOffsetReset = AutoOffsetReset.Earliest,
    EnableAutoCommit = true,
    EnableAutoOffsetStore = false,
    GroupId = this.groupId,
    SecurityProtocol = SecurityProtocol.SaslPlaintext,
    SaslMechanism = SaslMechanism.Plain,
    SaslUsername = this.kafkaUsername,
    SaslPassword = this.kafkaPassword,
};

using (var consumer = new ConsumerBuilder<Ignore, string>(consumerConfig).Build())
{
    var cancellationToken = new CancellationTokenSource();
    Console.CancelKeyPress += (_, e) =>
    {
        e.Cancel = true;
        cancellationToken.Cancel();
    };

    consumer.Subscribe("my-topic");
    while (true)
    {
        try
        {
            var consumerResult = consumer.Consume();
            // process message
            consumer.StoreOffset(consumerResult);
        }
        catch (ConsumeException e)
        {
            // log
        }
        catch (KafkaException e)
        {
            // log
        }
        catch (OperationCanceledException e)
        {
            // log
        }
    }
}

Sorun ben satır yorum olsa bile consumer.StoreOffset(consumerResult);, bir dahaki sefere tüketmek sonraki tüketilen sonraki mesajı almaya devam , yani ofset artan tutar yani belgelerin iddia ettiği gibi görünmüyor, yani en az bir teslimat .

EnableAutoCommit = falseYapılandırmadan 'EnableAutoOffsetStore = false' ayarlayıp kaldırsam ve consumer.StoreOffset(consumerResult)onunla değiştirsem consumer.Commit()bile, yine aynı davranışı görüyorum, yani yorum yapsam bile Commit, hala bir sonraki tüketilmemiş mesajı almaya devam ediyorum.

Burada temel bir şey eksik gibi hissediyorum, ama ne olduğunu anlayamıyorum. Herhangi bir yardım takdir!

Üzgünüz, henüz yorum ekleyemiyorum. Kafka tüketicisi toplu olarak mesaj tüketiyor, bu yüzden belki de arka plan iş parçacığının önceden getirdiği toplu işi yineliyorsunuz .

Kafka util kullanarak tüketicinizin gerçekten ofset yapıp yapmadığını kontrol edebilirsiniz kafka-consumer-groups.sh

kafka-consumer-groups.sh --bootstrap-server kafka-host:9092 --group consumer_group  --describe

İletilerinizin her birini 5 gibi sabit sayıda işlemek için yeniden denemek mantığı isteyebilirsiniz. Bu 5 yeniden deneme sırasında başarılı olmazsa, bu iletiyi tümünü işlemek için başka bir konuya eklemek isteyebilirsiniz. gerçek konunuzdan öncelikli olan başarısız iletiler. Ya da arızalı mesajı aynı konuya eklemek isteyebilirsiniz, böylece diğer mesajlar tüketildikten sonra daha sonra alınacaktır.

Bu 5 yeniden deneme içinde herhangi bir mesajın işlenmesi başarılı olursa, sıradaki bir sonraki mesaja atlayabilirsiniz.