Soru Kafka'daki bölümlerin tüm konularını ve ofsetlerini gösteren komut nedir?


Bölümlerin tüm konularını ve ofsetlerini gösteren bir Kafka komutunu arıyorum. Dinamik olarak mükemmel olsaydı. Şu anda bu bilgileri görmek için java kodu kullanıyorum, ancak bu çok rahatsız edici.


32
2018-06-25 22:18


Menşei


Bunu yapan Java kodunuz varsa cevap verebilir misiniz? bu soru benimki? - dbush


Cevaplar:


Kafka Bunu gerçekleştirmek için kullanabileceğiniz bazı araçlarla birlikte gönderilir.

Liste konuları:

# ./bin/kafka-topics.sh --list --zookeeper localhost:2181
test_topic_1
test_topic_2
...

Bölümleri ve ofsetleri listeleme:

# ./bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --broker-info --group test_group --topic test_topic --zookeeper localhost:2181
Group           Topic                  Pid Offset          logSize         Lag             Owner
test_group      test_topic             0   698020          698021          1              test_group-0
test_group      test_topic             1   235699          235699          0               test_group-1
test_group      test_topic             2   117189          117189          0               test_group-2

0.9 (ve üstü) tüketici API'ları için güncelleme

Kullanıyorsanız yeni apiskullanabileceğiniz yeni bir araç var: kafka-consumer-groups.sh.

./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group count_errors --describe
GROUP                          TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER
count_errors                   logs                           2          2908278         2908278         0               consumer-1_/10.8.0.55
count_errors                   logs                           3          2907501         2907501         0               consumer-1_/10.8.0.43
count_errors                   logs                           4          2907541         2907541         0               consumer-1_/10.8.0.177
count_errors                   logs                           1          2907499         2907499         0               consumer-1_/10.8.0.115
count_errors                   logs                           0          2907469         2907469         0               consumer-1_/10.8.0.126

45
2018-06-25 23:30



Teşekkürler chrsblck, sadece hangi comsumerGroup olursa olsun her bölümün maksimum (en son) ofsetini görmek istersem, lütfen nasıl komut vermeliyim lütfen. - Jack
kafka-broker] $ bin / kafka-consumer-groups.sh --bootstrap-server localhost: 9092 --group count_errors - tüketici grubu komutu yürütülürken hata oluştu GROUP_COORDINATOR, brokerlar listesinde başarısız oldu (localhost: 9092 (id: -1) rack: null)) java.lang.RuntimeException: GROUP_COORDINATOR isteği broker listesinde başarısız oldu (localhost: 9092 (id: -1 rack: null)) - mannedear
@mannedear Bu komutla ilgili yardıma ihtiyacınız varsa yeni bir soru sormalısınız. - chrsblck
@chrsblck: -> Pencere Komut İstemi'nden Yangın Yapıyorsam Aynı Sorgu, Hata Oluşuyor. COMMAND: -> bin \ windows \ kafka-run-class.bat kafka.tools.ConsumerOffsetChecker --broker-info --topik testi - dolandırıcılık localhost: 2181. HATA: -> Ana sınıf bulunamadı veya yüklenemedi kafka.tools.ConsumerOffsetChecker - Sanjiv


Denemek isteyebilirsiniz kt. Ayrıca paketlenenden daha hızlı kafka-topics.

Bu, kt ile bir konudan çıkabileceğiniz en eksiksiz bilgi açıklamasıdır:

kt topic -brokers localhost:9092 -filter my_topic_name -partitions -leaders -replicas

Ayrıca JSON olarak çıktılar; jq daha fazla esneklik için.


7
2018-05-16 03:43



Bu komutu nasıl çalıştırdın? - mannedear
Bununla ne demek istediğinden emin değilim. Yorumda verilen link ("kt" ye tıklayabilirsiniz) çok kapsamlı bir okumaya sahiptir. Yükleme talimatları ve birçok örnek var. Eğer sorunuza cevap vermiyorsa, ne demek istediğini açıklayabilir misiniz? - mlg