干掉zookeeper:kafka里程碑式改进! 2024-05-09 14:21:11 分布式发布与订阅系统Apache Kafka在即将发布的2.8版本,使用Kafka内部的Quorum控制器来取代ZooKeeper,因此用户第一次可在完全不需要ZooKeeper的情况下执行Kafka,这不只节省运算资源,并且也使得Kafka效能更好,还可支持规模更大的集群。过去Apache ZooKeeper是Kafka这类分布式系统的关键,ZooKeeper扮演协调代理的角色,所有代理服务器启动时,都会连接到Zookeeper进行注册,当代理状态发生变化时,Zookeeper也会储存这些数据,在过去,ZooKeeper是一个强大的工具,但是毕竟ZooKeeper是一个独立的软件,使得Kafka整个系统变得复杂,因此官方决定使用内部Quorum控制器来取代ZooKeeper。这项工作从去年4月开始,而现在这项工作取得部分成果,用户将可以在2.8版本,在没有ZooKeeper的情况下执行Kafka,官方称这项功能为Kafka Raft元数据模式(KRaft)。在KRaft模式,过去由Kafka控制器和ZooKeeper所操作的元数据,将合并到这个新的Quorum控制器,并且在Kafka集群内部执行,当然,如果使用者有特殊使用情境,Quorum控制器也可以在专用的硬件上执行。KRaft协定使用事件驱动机制来追踪整个集群的元数据,过去必须依赖RPC来处理的任务,现在受益于事件驱动以及实际的日志传输,这些改变所带来的好处,便是让Kafka能够支持更多的分割。过去Kafka因为带着ZooKeeper,因此被认为拥有笨重的基础设施,而在移除ZooKeeper之后,Kafka更轻巧更适用于小规模工作负载,轻量级单体程序适合用于边缘以及轻量级硬件解决方案。值得注意的是,在抢先体验版中,有部分像是ACL、安全以及交易等功能都尚未支持,而且在KRaft模式下,也还不支持重新分配分割和JBOD,官方提到,这些功能会在今年稍晚的版本中提供,由于很多功能处于测试阶段,不建议大家将其用于生产环境中。参考:https://www.confluent.io/blog/kafka-without-zookeeper-a-sneak-peek/https://www.ithome.com.tw/news/143569 赞 (0) 相关推荐 小白学习Kafka(一):初识 前言 刚学了rabbitmq, 怎么突然又开始了kafka? 艺多不压身 <摸着渐渐稀疏的头发> 只有对比才能有更深的理解 起于专业,终于专业 起步 知乎上kafka 推荐书籍?,其中列出 ... 30分钟带你了解「消息中间件」Kafka、RocketMQ 消息中间件的应用场景 主流 MQ 框架及对比 说明 Kafka 优点 Kafka 缺点 RocketMQ Pulsar 发展趋势 各公司发展 Kafka Kafka 是什么? Kafka 术语 Kaf ... 人类生理结构有哪些不合理的地方?有什么办法能改进吗? 可能是我们太习惯于我们的身体,所以总觉得我们就是人类演化路上的终极体,现如今这样就是最完美的状态.然而事实证明,人类身体有许多不合理之处. 人体不合理之处 直立行走是人类区别于其他灵长类的重要表现,然 ... 摩托车动力改装之缸头改进篇 作者:摩托中国天海胖子 发动机的进排气量和气流速是影响高转速(功率)输出的关键因素之一. 发动机工作时气流的路线是空滤--化油器--进气歧管--缸头进气道--进气门--燃烧室--排气门--缸头排气道- ... 促进以“学”为核心的教学改进 构建"高质量教育体系"和"以学习者为中心"的教育新生态,是我国在"十四五"规划和2035年远景目标中提出的重要内容,它引导教育者从内涵发展的 ... Kafka 如果丢了消息,怎么处理的? Kafka存在丢消息的问题,消息丢失会发生在Broker,Producer和Consumer三种. Broker Broker丢失消息是由于Kafka本身的原因造成的,kafka为了得到更高的性能和吞 ... 【爆赞】SPICE:软件过程能力改进和能力测定 【爆赞】SPICE:软件过程能力改进和能力测定 这9种常用农药,能干掉90%的病虫害! 农业生产最怕的就是遇见病虫害,最可恨的是病虫害类型繁多,有时遇到了却不能"对症下药",最终影响农作物生长及其产量. 今天,给大家分享的这8种农药用途,看明白后,大部分病虫害都能防治 ... 曾经看过一篇报道:布什说:“我们准备干掉... 曾经看过一篇报道: 布什说:"我们准备干掉四百万伊拉克人和一个修单车的." CNN记者:"一个修单车的?为什么要杀死一个修单车的?" 布什转身拍了拍鲍威尔的肩膀 ... “少子时代”家庭教育应如何改进 李薇薇 当今社会,已经进入"少子时代".人们的子女观发生了重大的变化,由过去单纯追求子女的数量转变为追求子女的质量.家庭教育也由过去的"粗放型"转变为" ... 谈谈少子时代家庭教育应如何改进 "少子时代"家庭教育应如何改进 当今社会,已经进入"少子时代".人们的子女观发生了重大的变化,由过去单纯追求子女的数量转变为追求子女的质量.家庭教育也由过去的& ...