(8条消息) 解决CDH6.2中的kafka消费不到数据问题
被这个问题坑了很久,终于灵光一闪解决了这个问题。顺便记录一下。
需要设置--chroot,我设置成:/kafka
设置如下图:(名称随便取吧),重新部署问题解决
问题分析:
在按照帮助文档一步一步实现了创建topic ,创建生产者,创建消费者后。发现生产者发送的消息,消息者竟然收不到。因为过于相信CDH默认配置。首先也没想到哪里默认配置有问题,事实上配置太多也不知道如何下手。
后来下载了Kafka安装包,本地搭建了kafka单节点,一步一步做下来发现一切OK。于是感觉是ZOOKEEPER的问题。
把ZOOKEEPER的配置撸了一遍,发现还是不行。kafka的配置各种对比也没发现异样。
无奈看一下官网说明
zookeeper.chroot=/kafka
乍一看,觉得是权限问题,可能是出于安全考虑需吧。深入的研究还在继续...
topic 都从0创建到8了。内心崩溃
附上命令:注意主机名,注意端口和参数
创建topoic
kafka-topics --create --partitions 1 --replication-factor 1 --zookeeper cdh.cn:2181/kafka --topic test8
查看创建的topic
kafka-topics --list --zookeeper cdh.cn:2181/kafka
启动生产者
kafka-console-producer --broker-list cdh.cn:9092 --topic test8
启动消费者
kafka-console-consumer --bootstrap-server cdh.cn:9092 --topic test8 group tg1 --from-beginning
最终效果:
在生产者中发送消息。消费者中打印出数据
官方说明:
https://www.cloudera.com/documentation/enterprise/6/6.2/topics/kafka_clients.html