testApache Kafka 0.8.1.1'deki konuyu silmem gerekiyor.

Buradaki belgelerde ifade edildiği gibi, şunları yaptım:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

Ancak bu, aşağıdaki mesajla sonuçlanır:

Command must include exactly one action: --list, --describe, --create or --alter

Bu konuyu nasıl silebilirim?

0.8.1.1'de konuyu silmek her zaman çalışmıyor

Silme işlemi bir sonraki sürüm olan 0.8.2'de çalışmalıdır

kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name

  Topic your_topic_name is marked for deletion.
  Note: This will have no impact if delete.topic.enable is not set to true.

Bir konuyu silmek mümkün mü?

Jira KAFKA-1397

Görünüşe göre silme komutu bilinen bir hata nedeniyle Kafka 0.8.1.x'de resmi olarak belgelenmemiş ( https://issues.apache.org/jira/browse/KAFKA-1397 ).

Bununla birlikte, komut hala kodda gönderiliyordu ve şu şekilde yürütülebilir:

bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper localhost:2181 --topic test

Bu arada, hata düzeltildi ve silme komutu artık resmi olarak Kafka 0.8.2.0'dan şu şekilde edinilebilir:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

$ {Kafka_home} /config/server.properties içinde aşağıdaki satırı ekleyin

delete.topic.enable=true

Kafka sunucusunu yeni yapılandırma ile yeniden başlatın:

${kafka_home}/bin/kafka-server-start.sh ~/kafka/config/server.properties

İstediğiniz konuları silin:

${kafka_home}/bin/kafka-topics.sh --delete  --zookeeper localhost:2181  --topic daemon12

Andrea haklı. bunu komut satırını kullanarak yapabiliriz.

Ve yine de programlayabiliriz.

ZkClient zkClient = new ZkClient("localhost:2181", 10000);
zkClient.deleteRecursive(ZkUtils.getTopicPath("test2"));

Aslında Kafka 0.8.1.1'de konuyu silmenizi önermiyorum. Bu konuyu bu yöntemle silebilirim, ancak günlüğü zookeeper için kontrol ederseniz, silme işlemi karıştırır.

testZookeeper shell command ( zookeeper-shell.sh) ' dan belirli bir kafka konusunu (örnek:) silebilirsiniz . Konuyu silmek için aşağıdaki komutu kullanın

rmr {path of the topic}

misal:

rmr /brokers/topics/test

Kafka'da 1 veya Daha Fazla Konuyu Silme Adımları

Kafka'daki konuları silmek için Kafka sunucusunda silme seçeneğinin etkinleştirilmesi gerekir.

1. Go to {kafka_home}/config/server.properties
2. Uncomment delete.topic.enable=true

Kafka'da bir Konuyu silin aşağıdaki komutu girin

kafka-topics.sh --delete --zookeeper localhost: 2181 --topic

Birden fazla konuyu kafka'dan silmek için

(birden fazla konu oluşturduğum ve farklı senaryolar için bunları silmem gerektiği test amaçları için iyi)

1. Kafka Sunucusunu ve Zookeeper'ı durdurun
2. günlüklerin depolandığı / tmp klasörüne gidin ve kafkalogs ve zookeeper klasörünü manuel olarak silin
3. Zookeeper ve kafka sunucusunu yeniden başlatın ve konuları listelemeye çalışın,

bin / kafka-topics.sh --list --zookeeper localhost: 2181

hiçbir konu listelenmemişse, tüm konular başarıyla silinmiştir. Konular listeleniyorsa, silme işlemi başarılı olmamıştır. Yukarıdaki adımları tekrar deneyin veya bilgisayarınızı yeniden başlatın.

Bu adımlar tüm konuları ve verileri silecek

• Kafka-server ve Zookeeper-server'ı durdurun
• Her iki hizmetin tmp veri dizinlerini kaldırın, varsayılan olarak bunlar C: / tmp / kafka-logs ve C: / tmp / zookeeper'dır.
• sonra Zookeeper-server ve Kafka-server'ı başlatın

Komuta:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

maalesef sadece silinecek konuyu işaretler.

Silme gerçekleşmez.

Bu, Kafka yapılandırmasını hazırlayan herhangi bir komut dosyasını test ederken sorun yaratır.

Bağlı konular:

• Kafka Kuyruğunu Temizle
• Her çalıştırmadan önce bir konudaki tüm verileri veya konuyu silmenin bir yolu var mı?

Yukarıdaki cevaplara ek olarak, zookeeper tüketici ofset yolunda o konuyla ilişkili meta verileri silmek gerekir.

bin/zookeeper-shell.sh zookeeperhost:port

rmr /consumers/<sample-consumer-1>/offsets/<deleted-topic>

Aksi takdirde, zookeeper tabanlı kafka izleme araçlarında gecikme negatif olacaktır.

Doc de belirtildiği gibi burada

Konu silme seçeneği varsayılan olarak devre dışıdır. Etkinleştirmek için sunucu yapılandırmasını delete.topic.enable = true ayarlayın Kafka şu anda bir konu için bölüm sayısını azaltmayı veya çoğaltma faktörünü değiştirmeyi desteklemiyor.

Delete.topic.enable = true olduğundan emin olun

bin/kafka-topics.sh –delete –zookeeper localhost:2181 –topic <topic-name>

Konuları silmekte sorun yaşıyorsanız, konuyu kullanarak silmeyi deneyin:

$KAFKA_HOME/bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name

komut. Daha sonra silme işlemini doğrulamak için normalde altında bulunan kafka günlükler dizinine gidin ve /tmp/kafka-logs/ardından komut your_topic_namearacılığıyla dosyayı silin rm -rf your_topic_name.

Tüm süreci bir kafka yönetim aracı ile izlemeyi unutmayın Kafka Tool.

Yukarıda bahsedilen işlem, kafka sunucusunu yeniden başlatmadan konuları kaldıracaktır.

1. Adım: Hayvan bekçisi ve Kafka koşmaya bağlı olduğunuzdan emin olun

Adım 2: Kafka konusunu silmek için, kullanıyorsanız Kafka-topic (Mac) veya Kafka-topic.sh çalıştırın (linux / Mac) bağlantı noktasını ve --topic'i konunuzun adıyla ekleyin ve --delete ile konuyu silin. başarı.

# Delete the kafka topic
# it will delete the kafka topic
kafka-topics --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete
# or
kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete

Öncelikle, konunuzu silmek için bu komutu çalıştırırsınız:

$ bin/kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic <topic_name>

Tamamen silmeyi kontrol etmek için aktif konuları listeleyin:

$ bin/kafka-topics.sh --list --bootstrap-server localhost:9092