400-650-7353
您所在的位置:首頁(yè) > IT干貨資料 > 大數(shù)據(jù) > 【大數(shù)據(jù)基礎(chǔ)知識(shí)】Kafka集群安裝與和測(cè)試如何操作

【大數(shù)據(jù)基礎(chǔ)知識(shí)】Kafka集群安裝與和測(cè)試如何操作

  • 發(fā)布: 大數(shù)據(jù)培訓(xùn)
  • 來(lái)源:大數(shù)據(jù)干貨資料
  • 2020-04-06 22:38:28
  • 閱讀()
  • 分享
  • 手機(jī)端入口

(3)顯示topic的詳細(xì)信息

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

Topic:test PartitionCount:1 ReplicationFactor:3 Configs:

Topic: test Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0

第一行是所有分區(qū)的一個(gè)整體描述,然后下面列出每個(gè)分期的信息,每個(gè)分區(qū)對(duì)應(yīng)一行。因?yàn)楸纠兄挥幸粋(gè)分區(qū),所以下面只有一行。

leader:負(fù)責(zé)讀寫(xiě)消息,zookeeper從所有節(jié)點(diǎn)中隨機(jī)選擇leader。

replicas:,列出所有的副本節(jié)點(diǎn),即便節(jié)點(diǎn)現(xiàn)在不在服務(wù)中。

isr:列出正在服務(wù)中的節(jié)點(diǎn)。

在本例中,節(jié)點(diǎn)1是作為leader運(yùn)行。

(4)使用客戶端命令去發(fā)送消息

bin/kafka-console-producer.sh --broker-list node1:9092,node2:9092,node3:9092 --topic test

(5)使用客戶端命令去消費(fèi)消息

bin/kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --from-beginning --topic test

可以通過(guò)參數(shù) consumer-property來(lái)指定消費(fèi)者的group id:

kafka-console-consumer.sh --topic test --bootstrap-server node1:9092,node2:9092,node3:9092 --consumer-property group.id=xx

【大數(shù)據(jù)基礎(chǔ)知識(shí)】大數(shù)據(jù)之Kafka集群安裝與測(cè)試

(6)測(cè)試集群容錯(cuò)能力

Kill -9 pid[leader節(jié)點(diǎn)]

此時(shí),另外一個(gè)節(jié)點(diǎn)被選做了leader, in-sync 副本列表中不再有節(jié)點(diǎn)1:

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

Topic:test PartitionCount:1 ReplicationFactor:3 Configs:

Topic: test Partition: 0 Leader: 2 Replicas: 1,2,0 Isr: 2,0

雖然最初負(fù)責(zé)讀寫(xiě)消息的leader 不在線了,但之前的消息仍然可以消費(fèi):

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic test

(7)刪除主題

bin/kafka-topics.sh --delete --zookeeper node1:2181,node2:2181,node3:2181 --topic test

 

文章“【大數(shù)據(jù)基礎(chǔ)知識(shí)】Kafka集群安裝與和測(cè)試如何操作”已幫助

>>本文地址:http://m.hqfphsz.com/zhuanye/2020/48582.html

THE END  

聲明:本站稿件版權(quán)均屬中公教育優(yōu)就業(yè)所有,未經(jīng)許可不得擅自轉(zhuǎn)載。

1 您的年齡

2 您的學(xué)歷

3 您更想做哪個(gè)方向的工作?

獲取測(cè)試結(jié)果
  • 大前端大前端
  • 大數(shù)據(jù)大數(shù)據(jù)
  • 互聯(lián)網(wǎng)營(yíng)銷互聯(lián)網(wǎng)營(yíng)銷
  • JavaJava
  • Linux云計(jì)算Linux
  • Python+人工智能Python
  • 嵌入式物聯(lián)網(wǎng)嵌入式
  • 全域電商運(yùn)營(yíng)全域電商運(yùn)營(yíng)
  • 軟件測(cè)試軟件測(cè)試
  • 室內(nèi)設(shè)計(jì)室內(nèi)設(shè)計(jì)
  • 平面設(shè)計(jì)平面設(shè)計(jì)
  • 電商設(shè)計(jì)電商設(shè)計(jì)
  • 網(wǎng)頁(yè)設(shè)計(jì)網(wǎng)頁(yè)設(shè)計(jì)
  • 全鏈路UI/UE設(shè)計(jì)UI設(shè)計(jì)
  • VR/AR游戲開(kāi)發(fā)VR/AR
  • 網(wǎng)絡(luò)安全網(wǎng)絡(luò)安全
  • 新媒體與短視頻運(yùn)營(yíng)新媒體
  • 直播帶貨直播帶貨
  • 智能機(jī)器人軟件開(kāi)發(fā)智能機(jī)器人
 

快速通道fast track

近期開(kāi)班時(shí)間TIME