(8条消息) 解决CDH6.2中的kafka消费不到数据问题

被这个问题坑了很久,终于灵光一闪解决了这个问题。顺便记录一下。

需要设置--chroot,我设置成:/kafka

设置如下图:(名称随便取吧),重新部署问题解决

问题分析:

在按照帮助文档一步一步实现了创建topic ,创建生产者,创建消费者后。发现生产者发送的消息,消息者竟然收不到。因为过于相信CDH默认配置。首先也没想到哪里默认配置有问题,事实上配置太多也不知道如何下手。

后来下载了Kafka安装包,本地搭建了kafka单节点,一步一步做下来发现一切OK。于是感觉是ZOOKEEPER的问题。

把ZOOKEEPER的配置撸了一遍,发现还是不行。kafka的配置各种对比也没发现异样。

无奈看一下官网说明

zookeeper.chroot=/kafka

乍一看,觉得是权限问题,可能是出于安全考虑需吧。深入的研究还在继续...

topic 都从0创建到8了。内心崩溃

附上命令:注意主机名,注意端口和参数

创建topoic

kafka-topics --create --partitions 1 --replication-factor 1 --zookeeper cdh.cn:2181/kafka --topic test8

查看创建的topic

kafka-topics --list --zookeeper cdh.cn:2181/kafka

启动生产者

kafka-console-producer --broker-list cdh.cn:9092 --topic test8

启动消费者

kafka-console-consumer --bootstrap-server cdh.cn:9092 --topic test8 group tg1 --from-beginning

最终效果:

在生产者中发送消息。消费者中打印出数据

官方说明:

https://www.cloudera.com/documentation/enterprise/6/6.2/topics/kafka_clients.html

(0)

相关推荐