百度的云图丹青
云计算与AI的关系,在几年间经历了数次变化。
最开始,基于云计算提供AI服务仅仅是方向和趋势,输送能力以基础算法为主。随后,开始出现基于云计算提供体系化的AI训练、开发、部署与应用服务。云与AI紧密的关系更加紧密,可以满足企业的复杂智能化需求。
那么,云与AI的下一步是什么?
按照产业期待和技术发展趋势,“云+AI”的下一步应该走向基础设施紧密耦合,无论是开发还是应用需求都能被充分满足,各种智能化需求都能在云计算体系中得到充分释放的新形态。这个阶段,AI不再是云计算的“嵌入物,而是呈现给用户和开发者AI原生云,云与智能高度一体化的产业特征。
在国画丹青里,我们能见到的不是一山一石、一草一木,而是浩荡山河,琳琅草木。真正适配行业智能化需求,满足工业级AI需求的云计算体系,也应该是一幅诸多领先技术、核心能力与服务体系构成的悠悠长卷。在百度智能云看来,这副长卷应该叫做“AI原生云”。
去年10月,百度智能云首次提出了“AI原生云”的行业判断与产业设想。经历了快节奏发展,在6月3日的百度云智峰会智能计算峰会中,我们可以看到AI原生云的构成要件已经十分丰富,核心产品已经充盈完善。不仅有百度沧海存储技术与百度百舸AI异构计算平台两个新品牌首次亮相,百度智能云还发布和升级了一系列产品,最终组成一幅题为“AI原生云”的千里江山图。
(6月3日,2021百度智能计算峰会,百度智能云布一系列AI原生云产品)
问道组笔:
AI原生云的时代图画
很早之前我们就讨论过,云计算与AI合流具有产业区位上的必然性。因为云计算的弹性特征是输送智能的最佳方式,而通过云计算或许智能,也是企业门槛最低、效率最高的接入方式。
如今,AI已经成为每一家云计算厂商的产业重心。在“云+AI”的方向确立后,下一步问题就是如何让企业用户和开发者更简单、高效、低成本接入AI,负载工业级应用。如果云计算厂商是一位位画师,AI是他们共同描摹的对象,那么第一步,就是要确定如何能画出最精彩的AI。这是“云画师”的求道。
整体而言,AI对云计算体系提出了三大挑战:
首先是AI的训练、部署与应用带来了高强度且复杂的异构计算需求,极大程度上改变了传统的云端算力提供规则与服务器特性。
其次是AI在企业落地,需要部署在云、边、端等多个场景,产生了令人眼花缭乱的分布式计算需求。继而导致云厂商需要提供的平台与服务种类极度增多。
还有一点,企业对于AI成本降低、难度下降的期待是始终不变的。如何满足企业多样化的开发与应用需求,让算力成本降低、算法难度下降,也是云厂商始终不变的方向。
综合这三条AI之道,“云画师”需要重新组织笔法,编制产业蓝图,绘制技术差异化。而百度智能云为强异构、多端部署、简单易用的“云智一体”的云计算架构,定义为“AI原生云”。
百度集团副总裁侯震宇认为:“ AI原生云是推动企业智能化升级的核心驱动力,AI原生云在算力层面提供面向AI场景的弹性高性能的异构算力,在应用开发层面,提供面向AI应用场景的系列低门槛开发平台,帮助企业把AI应用架构做得更加简洁、更加敏捷。
丹青水墨,讲究山为骨、水为魂。百度智能云认为,AI原生云的基础是算力与应用开发平台的多元融合。算力、数据、开发、应用平台的山水相融,才能描画出智能时代的泼墨长卷。
针对AI原生云必须具备的三大核心能力,即AI异构计算平台、分布式云基础设施、AI应用开发平台,百度云智峰会智能计算峰会中一次发布升级了八大新品,其中包括有百度太行弹性裸金属服务器3.0、百度沧海并行文件存储PFS、第五代云服务器实例、智感超清一体机等等。
这些全面升级的AI基础设施,就像一道道笔触,组成了计算与智能的山河图。
雄奇筑太行,云帆济沧海
AI原生云这幅画卷,首先需要的是作为基础的算力和存储。
适配AI需求,且充沛低成本的算力,以及与计算紧密相关的数据存储能力,是AI发展的根基。就像水墨画中的山,构成了整幅画的骨架与轮廓,决定着丹青的走势。
在百度智能云提供的AI原生云中,算力也与“山”紧密相连。百度智能云发布了新一代云基础架构“太行”,基于百度自主研发的硬件虚拟化技术,重构百度智能云的算力基础设施,同时拥有云服务器的资源弹性和物理机的高性能体验,以满足AI原生时代对海量算力的需求。
面向更具体的AI算力需求,百度智能云发布了百度太行弹性裸金属服务器3.0。太行全面升级了弹性裸金属全特性,实现对网络卸载、PCIe设备热插拔的支持,让裸金属可以和虚机一样云磁盘快速启动。基于新一代自研智能网卡,太行还能实现裸金属、虚机、容器多种算力在网络与存储上的统一,充分匹配AI任务的计算需求。
如果说算力是山,那么数据的存放、调用、使能就是让山色流淌,算力发生价值的水。为了满足用户应用AI时日益提高的高性能计算需求,百度智能云发布了存储品牌沧海。
我们知道,数据是百度的核心优势,而数据的存、算、用也就必然是百度必须不断强化的技术能力。在存储领域,沧海就源于百度20多年的业务和客户服务实践,拥有存算一体、软硬一体、云边一体的技术优势;拥有极致速度、极致弹性、极致性价比、极致可靠、极致简单的技术特性。
面向智能时代,高性能与海量存储成为了企业上云、部署AI的关键支撑。而沧海可以从几个方面解决核心的存储问题。一是数据上云,提供了离线、在线数据上云的方式;二是解决数据存储的问题,提出以对象存储为核心,面向AI场景做了高速优化的能力;三是面向AI场景,AI的训练和处理分析的能力。
以分布式存储场景为例,全新发布的沧海并行文件存储PFS可以支持对象存储数据连接,实现冷热数据真正的联通,数据综合成本降低60%以上。并且沧海还覆盖HPC场景的性能需求,具备超高性能超低延迟的关键特性。
让数据的沧海与计算的太行相互围绕,构成算力与数据底座牢不可破,源远流长。
(图:林德坤 国画 - 云绕太行)
昆仑山下,百舸飞桨
算力和存储是AI原生云的引擎,开发就是AI原生云的操作系统。让用户和开发者低成本、高效率、低难度完成AI开发与应用,是AI兴起以来的永恒命题,也是百度在AI领域能够筑起护城河的关键所在。
有了算力、存储作为AI原生云的山海基础,开发平台就化身为这幅图画中灵动的“舟”。基于开发体系,可以匹配各行业开发者的个性需求,或面向工业级的挑战,或完成意想不到的细微创造;既要与实验室中的专家学者共舞,又要帮助完全没有代码经验的开发者工作。
而在云计算场景中,异构计算是大量企业应用AI的最大挑战。为了进一步帮助用户降低AI开发门槛,完成工业级的AI落地,百度智能云推出了全新的AI异构计算平台百舸,取意“百舸争流,奋楫者先”。百度百舸由AI计算、AI存储、AI容器三部分组成,可以针对不同的AI应用场景,完成不同计算自由、存储资源、容器应用的弹性与高效互联,帮助用户有效利用AI基础设施。
在AI计算层面,不得不提百度自主研发的云端AI芯片百度昆仑和专为AI深度学习场景优化设计的百度超级AI计算平台X-MAN。
作为核心基础计算单元,芯片占据了AI时代制高点。百度对AI芯片的需求十分明确。早在2010年,百度就已使用FPGA进行AI架构的研发,随后又不断通过合作、投资和自研的方式来推进该业务。2018年,百度发布了百度自主研发的云端AI芯片“昆仑”。
2020年,昆仑1成果实现量产,具有高性能、低成本、高灵活性、自主可控等关键特征,并且在百度搜索引擎和百度智能云生态伙伴等场景广泛部署。昆仑芯片既能做训练也能做推理,它可以满足AI的高处理需求,用于云实例和边缘实例,包括数据中心、公共云和自动驾驶汽车。
通过充分利用昆仑芯片的极限推送计算能力和功耗效率,百舸AI异构计算平台可以有效支持多种功能,包括大规模的人工智能工作负载,如搜索排名、语音识别、图像处理、自然语言处理、自动驾驶。昆仑的另一个关键优势,在于与众多AI软硬件体系完美适配,可以帮助应用者、开发者有效利用AI算力,最大化利用百度AI基础设施。基于昆仑芯片打造的百度昆仑云服务器,可以为企业和开发者们提供超强的AI推理和训练性能,加速AI技术与各行各业深度融合的步伐。
目前百度超级计算平台X-MAN已经升级到第四代,是业界首款支持OAI标准和液冷散热的超级AI计算平台,可解决CPU+GPU配比计算、通信带宽瓶颈、高性能存储三大问题。百度X-MAN超级AI计算平台提供极致的计算性能,支持超大复杂算法模型,能够快速及时处理海量数据。自诞生以来,百度X-MAN超级AI计算平台历经3代发展,3次架构升级,创造6项业界第一,同时期关键技术&性能保持领先,引领行业发展趋势。目前,X-MAN系列产品已在百度大规模应用,正在助力百度AI战略快速落地。
若想在百舸争流中更胜一筹,自然少不了一双有力的桨。百度飞桨是中国首个开源开放、技术领先、功能完备的产业级深度学习平台,出自宋代文人朱熹的“闻说双飞桨,翩然下广津”。目前飞桨已经在大量行业中实践落地,被誉为智能时代的操作系统。不久之前,飞桨刚刚迎来了全平台升级与新发布,全新发布包括飞桨核心框架V2.1、大规模图检索引擎、文心ERNIE四大预训练模型、推理部署导航图、硬件生态进展、开放云原生机器学习核心PaddleFlow,并且全面启动飞桨“大航海”计划,合计投入15亿资金,聚焦生态发展。
从飞桨到百舸,百度AI体系下的开发平台、应用平台正在一步步充沛完善,满足从基础开发、简单开发、产业级应用等不同场景下的AI落地。很多科学家都畅想过,在未来应用AI应该是一件自然而然,无需学习门槛的事。
AI原生云,正在让人工智能应用开发的设想逐步落笔于现实。更值得一提的是,百度百舸、百度昆仑、百度飞桨让中国在AI核心底层技术上拥有自主知识产权,组成了名副其实的中国AI画卷。
结束语:AI丹青画万物
一口气发布、升级八大AI原生云产品,足可见百度智能云在AI原生云这条全新赛道上的笃定与决心。这种战略定力的根源,在于AI与云的融合关系是一件合乎逻辑,顺乎需求的事。
无数个行业、无数个场景,都在以云为通道,以AI为跳板,升级自己的生产力,让不可能变为可能。他们的故事和成果,点滴落入现实,最终绘成智能时代的画卷。
为了AI丹青,可画万物的目标,今天产业各界依旧需要全力奔跑,用计算撬动生产率,用智能打开行业可能。
时间来到2021年,百度智能云所描绘的,一幅属于AI的云图已经初现端倪。而接下来“AI原生云”的画笔,更多还是要交给来自千行百业的用户,交给拥有无限想象力的开发者。
这幅智能图卷中,应该每个人都是画手。
太行、昆仑、沧海、百舸、飞桨这些名字背后,我们能隐隐读到一种壮志。百度智能云的壮志,是让每家企业都能以云为笔,智作墨,画一幅自己的传奇。