鍍金池/ 問(wèn)答/人工智能  Java/ kafka consumer 突然不消費(fèi)

kafka consumer 突然不消費(fèi)

kafka客戶端用來(lái)消費(fèi)日志數(shù)據(jù),有兩個(gè)機(jī)器消費(fèi)。但是經(jīng)常性的消費(fèi)一會(huì)兒,就不消費(fèi)了,zk上沒(méi)有節(jié)點(diǎn)了,服務(wù)沒(méi)有停,沒(méi)有拋異常資源也足夠了,但就是莫名其妙zk斷了。還有幾次是壓根沒(méi)起來(lái),在連接zk那一步就卡住了。

更奇怪的是,兩個(gè)機(jī)器,我啟動(dòng)一臺(tái),另一臺(tái)就起不來(lái),有時(shí)候另一臺(tái)起來(lái)了,第一臺(tái)又死了,感覺(jué)這倆消費(fèi)者好像是互斥的一樣。

我的配置是這樣的:

group.id = group_houtai_logcenter-es1
zookeeper.connect = 10.37.8.54:2181,10.37.8.55:2181,10.37.8.56:2181
zookeeper.session.timeout.ms = 40000
zookeeper.sync.time.ms = 200
auto.commit.interval.ms = 1000

fetch.message.max.bytes=10485760

compression.codec = 0
serializer.class = kafka.serializer.StringEncoder

partitions.count = 4

consumer.count = 2

rebalance.max.retries = 10
rebalance.backoff.ms = 50000

很疑惑,求解答

回答
編輯回答
巴扎嘿

兩個(gè)kafka實(shí)例的server.properties中的broker.id是否重復(fù)了?

2018年8月9日 20:36