Kafka淘汰倒计时!这个新一代消息中间件,腾讯、华为都用疯了?

提起成熟的消息队列,毋庸置疑,大多数人的第一反应一定是 Kafka。
Kafka 作为一款明星级产品,能够彻底满足海量数据场景下高吞吐、高并发需求,在短短几年内,已经被阿里、腾讯、百度、字节跳动、Netflix、Twitter 等超一线大厂视为技术核心——可以说今天还没听说过 Kafka,等于不知道地球是圆的!
然而,技术的世界从没有“三十年河东三十年河西”的说法,夸张地比喻一下:很多技术经常是今天诞生、明天爆火、后天淘汰市面上真的没有其他产品有可能取代 Kafka 吗?一身光环、头顶王冠的 Kafka 究竟还能火多久?

01

消息传递系统之王“陨落”在即

Kafka 最大的对手来了?

Kafka 被誉为消息传递系统之王,它全面具备:高吞吐量、低延迟、容错、持久性、可伸缩性,尤其是广为人知的高吞吐量,Kafka 每秒大约可以生产约 25 万消息(50 MB),每秒处理 55 万消息(110 MB)!Kafka 还有一个巨大的优势就是容错,它具备一个固有功能,可以自行应对集群中的节点故障。
Kafka 当然很强,但在运维和实践过程中,却也始终存在着一些棘手的问题。例如:
扩展性较差,剥离 Broker 意味着必须复制 topic 分区和副本,效率很低;

缺乏一致性,一旦 API 发生变化很有可能出现问题;

存储成本非常高,几乎没有人用Kafka长时间存储数据;

没有与租户完全隔离的本地多租户,需要自行配置解决方案。

俯瞰技术生态,有没有一个平台,能够既拥有 Kafka 的优势,又规避它的缺陷,同时还融合了各个 MQ 的一系列特性呢?是的,你想要的完美,下一代云原生消息平台、Apache 顶级项目 Pulsar 都可以满足!

02

存储计算分离、分层分片云原生架构

Apache Pulsar

生来,注定是王者!

很多公司常常会在 Kafka 和 RabbitMQ 或 RocketMQ 之间做选择,这是因为在实时流式架构中,消息用例可被分为两类:队列和流。而 Pulsar 最优秀的地方正在于此,它将队列和流合二为一,统一为消息传递模型(producer-topic-subscription-consumer)!

也就是说,Pulsar 不仅可以如同 Kafka 一样处理高速率实时场景,还能支持传统的标准消息队列模式,例如多消费者和失效备援订阅等。

一个 Pulsar 系统,直接让你拥有 RabbitMQ + RocketMQ + Kafka 的各项特性!更惊艳的是,Pulsar 采用云原生架构,它的架构设计能够充分利用分布式且能弹性扩容云端资源,永久性告别性能不足。

Pulsar 消息发送模式架构图

目前,Pulsar 已经被腾讯、智联招聘、涂鸦智能、中国移动、中国电信、360、达达集团(京东到家)、苏宁、平安证券、华为等各个领域的巨头争先广泛实践,有全面赶超 Kafka 的趋势,和当年阿里推动 Flink 取代 Spark 的态势非常相似!

2021 移动互联网下半场,高并发、高吞吐已经不再是首要的痛点,几乎可以肯定 Pulsar 将会被越来越多的大厂快速应用,成为下一个风口!

为了帮助你快速学习、理解、掌握和实践强悍的 Pulsar,赶超技术圈下一个高薪风口,我们特别邀请了 StreamNative 的联合创始人,同时也是开源项目 Apache Pulsar 和 Apache BookKeeper 的 PMC 成员和 Committer 的翟佳老师,与奈学教育联合创始人、前58转转公司大数据资深架构师、Hadoop平台负责人李希沅老师,推出国内首套 Pulsar 课程,打造了最新一期《Apache Pulsar - 万亿级云原生的分布式消息平台》在线专栏课

原价 ¥499,限时 ¥0.99 立刻学习!
长按扫码👆,锁定 ¥0.99 名额
仅前 50 人有效,先到先得!
国内首套 Pulsar 在线专栏课原价499现在花0.99元,不到一次共享单车骑行就能马上学习,绝对相当划算。12 节名师精心打磨的大数据架构师必备技术知识精品课程,5月31 - 6月2日,3天速成,晚20:00-22:00点,助你赶超下一个行业风口。
重要提醒:一次报名,支持不限次数、不限日期的永久回看。同时课程期间还有惊喜大奖等你免费拿,小米体脂称、九阳早餐机、360智能摄像头等百元大礼全部包邮送,活动真实有效!

购课福利

12节干货实战课,带你快速掌握:

  • 消息系统的架构选型;
  • 深度掌握新一代万亿级消息系统 Pulsar 的架构设计;
  • 搞定新一代万亿级消息系统 Pulsar 的核心特性;
  • 掌握 Apache BookKeeper 的核心设计;
  • 掌握大数据最新技术一手行业干货趋势、动态。

03

我为什么推荐这门课程给你

从 0 到 1 层层深入 Pulsar 架构核心
Pulsar 通过特别的设计和抽象,统一地支持 Streaming 和 Queueing 两种消息消费模式,保持了 Streaming 模式的高性能和 Queueing 模式的灵活性。Pulsar 在保证大数据消息系统的性能和吞吐量的同时,提供了更多企业级的 Feature,包括方便的运维和扩展,灵活的消息模型,多语言API,多租户,异地多备,和数据的强持久性一致性等等,解决了现有开源消息系统的很多不足之处。
总之,通过从大数据核心技术“点”,到 Pulsar 架构设计“线”,再到企业应用实践“面”的深度剖析,帮助同学们全方面立体掌握 Pulsar 核心技术。
明星级教学教研团队
带你手把手快速掌握
适合谁学
技术浪潮一个接一个,总会有新技术不断涌现,作为技术从业者,最怕的就是还在用老技术解决别人早就解决了的问题。如果你是一名:
  • 分布式系统开发工程师

  • 大数据平台工程师

  • 大数据研发工程师

  • 大数据架构师

  • 数据仓库工程师

  • 后端开发工程师(Java/Go/C++/PHP/Python等语言方向)

  • 架构师(大数据/云原生/平台/系统/业务等方向)

那么,这门实践精品课正是为你量身定做的!
名师玄姐好评如潮
教研教学更有保障
左右滑动查看更多
国内首套 Pulsar 课程
大数据架构师必知必会
全面搞定 Pulsar 架构设计实践
掌握下一代云原生消息平台
12 大节点 3 天速成精品课
原价499 限时特惠 0.99
快速搞定大数据架构师必备技能!
👇👇👇
本公众号仅限前50名特惠购买
请耐心等待课程顾问通过
(0)

相关推荐

  • 物联网关键技术:消息队列

    消息队列MQ连接物联网与后端系统(业务应用.数据分析) 大量的设备接入物联网平台后,会产生各种类型的事件和数据,对接到后端的各种服务,包括计算和存储.消息队列可以起到异步通信.应用解藕.削峰平谷的作用 ...

  • 高频数据采集请求如何不影响主业务(7)

    上一篇文章讨论了写缓存的架构解决方案,它虽然可以减少数据库写操作的压力,但也存在不足.比如需要长期高频插入数据时,这个解决方案就无法满足,本篇文章我们就围绕这个问题逐步提出解决方案.在架构方案层层展开 ...

  • CTO 观点:如何为企业选择合适的消息系统?

    我是 Big Data Institute 的常务董事,技术评估是我的一项主要工作.我们帮助企业根据业务需求选择并落地最合适的技术.我们不与供应商合作,因此客户尤为看中我们能够客观地评估不同的技术. ...

  • 图解:消息传输的架构模式

    本文介绍在 Redis.Apache Kafka.RabbitMQ.ZeroMQ 和 IBM MQ 等技术中使用的消息交换架构和路由方法的基本模式.另外介绍如何使用这些模式简化架构师和开发人员之间的互 ...

  • 架构师的选择,Pulsar还是Kafka?

    介绍 最近,我一直在研究Pulsar及其与Kafka的比较. 快速搜索将显示两个最著名的开源消息传递系统之间存在当前的'战争'. 作为Kafka的用户,我确实对Kafka的某些问题感到困惑,并且我对P ...

  • 再见,Kafka!再见,RocketMQ!

    在开源的业界已经有这么多消息队列中间件了,Pulsar 作为一个新势力到底有什么优点呢? Pulsar 自从出身就不断的再和其他的消息队列(Kafka,RocketMQ 等等)做比较. 但是 Puls ...

  • 为什么说 Pulsar 是云原生的消息平台?

    企业中的不同的应用系统共同支撑起了业务的运行,在企业的发展过程中,总会有应用系统需要以设计时未曾想过的方式集成在一起.在过去二十年的实践当中,消息传递技术通过使用消息同步两个系统,同时又能够解耦消息的 ...

  • Redis、Kafka 和 Pulsar 消息队列对比

    刘德恩 云时代架构 一.最基础的队列 最基础的消息队列其实就是一个双端队列,我们可以用双向链表来实现,如下图所示: push_front:添加元素到队首: pop_tail:从队尾取出元素. 有了这样 ...

  • 腾讯宣布开源 RoP:Apache Pulsar 支持原生 RocketMQ 协议

    RocketMQ 用户可以无缝迁移到 Apache Pulsar 了.自此,Apache Pulsar 补齐了兼容主流消息队列协议的能力. 我们很高兴地宣布腾讯云中间件开源 RoP!RoP 将 Roc ...

  • 中国顶级四大财团!背景惊人,腾讯华为都要“靠边站”

    中国顶级四大财团!背景惊人,腾讯华为都要“靠边站”

  • 64GB淘汰倒计时?苹果13开始曝光,首次支持1TB内存

    对那些把iPhone当作主力机来使用的人来说,即使不拍视频,64GB也是绝对不够用的.我用的是128GB的iPhone 11,每周收到系统警告,无奈之下清理缓存,已经成为一种习惯.128GB尚且捉襟见 ...

  • 大众“排放门”开启柴油车淘汰倒计时

    大众的"排放门"还只是开始,伴随而来的是更多的排放测试和审查方案. 自从大众集团去年9月承认排放作弊丑闻以来,欧洲的汽车制造商们就急于从声誉影响中抽身,并将节能减排技术视作减少二氧 ...

  • 腾讯音乐都成为了集团了,为何不将微信剥离再造一个腾讯呢?

    对于腾讯并不是没有剥离过业务体系,例如腾讯音乐,在腾讯收购酷我音乐和酷狗音乐之后和QQ音乐一起成立了腾讯音乐集团,还上市了!腾讯一直在发力电商,但是进展很不顺,也没有发展起来,所以腾讯将自己的电商业务 ...

  • 【操作规范●系统】新一代寄递平台华为项目投递强管控功能简介

    为进一步强化华为项目邮件投递末端服务质量管控,做好预约服务应用,近期集团公司在新一代寄递平台增加了相关管控功能.小编现将简要应用介绍如下: 功能介绍 揽投员在投交华为项目邮件前,必须使用中邮揽投APP ...

  • 旧重疾下架倒计时,你最关心的问题都在这!

    13 年一遇的重疾集体停售潮,将在本周日(1 月 31 日)彻底落下帷幕. 到时所有的旧定义重疾将全部下架,以后就再也买不到了. 作为保险业的一个重大事件,相信仍有不少朋友还不是很了解,我们觉得有必要 ...

  • 组织架构巨震!阿里腾讯为什么都在今年“大手术”?

    阿里这轮组织架构"大手术",终于还是来了. 今年9月30日,腾讯宣布进行企业组织架构大调整,新成立云与智慧产业事业群.平台与内容事业群,并将原七大事业群压减至六个.这是腾讯时隔6年 ...

  • 连京东、阿里、华为、腾讯公司都不用的'底...

    连京东.阿里.华为.腾讯公司都不用的'底薪+提成',你千万不要用,它慢性毒药,只会腐蚀员工的积极性,这才是共赢的薪酬设计(各岗位-设计方案-落地工具,赶紧收藏)   一.销售岗位: 打破原来的:底薪3 ...

  • 腾讯做的宝可梦游戏刚上线一周,老外们都玩疯了……

    超萌超可爱的[躺倒鸭第十四弹]表情包来啦! 快长按图片识别二维码下崽鸭! 距离<宝可梦大集结>这款游戏正式上线Switch已经过去一周了,大家有没有上手体验"不给用皮卡丘就送人头 ...