连夺全球AI基准测试18项桂冠，浪潮智算跑出“中国速度”

如果说有什么能够代表中国的科技水平，在技术上真正处于全球领先？那就是在公平的环境下，在与世界级的科技巨头进行的直接对话中，赢下最终的胜利。

在4月22日，最新的AI基准评测MLPerf竞赛中，浪潮的两款核心产品跑出了“中国速度”，在全部有效41个项目中，浪潮获得18项性能第一，斩获几近半数冠军。这也创造了中国科技公司，在MLPerf测试中的最佳战绩。

两条赛道综合能力的胜利

也许有些人对MLPerf测试还稍显陌生，但我们都知道大名鼎鼎的大卫·帕特森（DavidPatterson），作为著名的RISC处理器技术奠基人，它不仅是美国两院院士，也是2017年的图灵奖得主。

正是大卫·帕特森在2018年，发起了AI计算基准评测组织MLPerf，并迅速成为业界最权威的测试ML（Machine Learning）硬件、软件及服务的训练和推理性能的公开基准。它囊括了AI行业中的70多个知名企业和机构，包括了英特尔、英伟达、Google、亚马逊、阿里巴巴和百度、微软，以及斯坦福大学等9所大学。

MLPerf自创办以来，一直代表了AI的发展和演进节奏，它包括用于测试推理和训练的程序、数据集以及像精确度目标和超参数值一些重要的细节，是当今权威性最大、影响力最广的国际AI性能基准测试，地位相当于全球AI领域的“奥运会”。

据了解，最新的一期性能评测共有17家厂商参与，NVIDIA、Intel、高通、阿里巴巴、浪潮、戴尔、HPE等全球AI领先公司悉数在列。基于最新MLPerf™ Inference V1.0基准，涵盖了图像分类、目标检测、医疗图像分割、自然语言处理、语音转文字和推荐系统6类AI应用场景，分为数据中心和边缘两类处理场景，每类场景都包含固定任务(Closed)和开放优化(Open)两类性能竞赛。

两个场景，也像是两条赛道。浪潮在总成绩上夺魁，依靠的是综合能力的表现。

Mlperf成绩总览浪潮打榜成绩

首先，在数据中心赛道全部21项基准测试中，浪潮获得11项第一、，戴尔获得3项第一， Supermicro获得3项第一，阿里获得2项第一，Intel获得2项第一。

其次，在边缘赛道21项基准测试中，NVIDIA获得10项第一，浪潮获得7项第一，阿里获得2项第一，Mobilint获得1项第一。

最终在所有42项测试中，浪潮以18项第一，位列所有参赛厂商之首。

 

三处细节，解读MLPerf夺冠含金量

全球MLPerf测试的夺冠，其实背后有很多细节值得深入思考。

 

首先，MLPerf测试的门槛是非常高的，并不是所有的厂商都有能力参与，参与者几乎都是全球顶级的AI玩家。要在不同的系统（包括硬件和框架）的组合下部署这么多个Benchmark的难度也是非常之大。例如在边缘场景开放优化场景的SSD-smallsingle-stream赛道，就没有厂商提交成绩，这也从一个侧面证明了MLPerf测试的高门槛。

其次，MLPerf测试的目标，远不止是芯片硬件本身，而是一个完整的软硬件系统的综合能力。随着系统的规模越来越大，测试的重点也从单芯片性能到集群的性能。能够跑出更好地成绩，本身就是综合实力的体现。

第三，对于很多参与厂家而言，每一期的MLPerf测试，都是一次挑战自我极限的机会。以卫冕“性能王”的浪潮AI服务器NF5488A5为例，它将2020年MLPerf™ DLRM的最高推理性能提升了23.4%，同比2019年MLPerf™ Resnet50的单机最高推理性能提升326%。

作为业界率先实现500W 80GB A100 GPU液冷散热的超强AI服务器，浪潮NF5488A5在系统拓扑上采用了超低延迟设计，最大限度提升处理器到AI芯片间的通信性能，并通过深度优化系统结构设计，确保设备可在高温、高负载环境下稳定运行，AI计算效能显著提升；一举拿下边缘固定任务（Closed）7项性能第一的浪潮NE5260M5边缘服务器，则通过极致优化的信号传输，结构散热，供电等设计，完美兼容高性能CPU和多种AI加速卡。

新的高性能里程碑，也是浪潮持续投入技术创新，并不断践行的结果。

一个智算布局，一条王者之路

在刚刚闭幕的浪潮IPF上，为了支撑多元算力的融合，浪潮推出了包括AI加速器、AI服务器、智算操作系统元脑OS、智能网卡和边缘计算微服务器等全面的智算产品布局。

很明显，从云到边缘的智算能力需求，是浪潮走出多元算力布局的关键。

这也与MLPerf测试的“主赛道”设置遥相呼应，在数据中心固定任务“主赛道”中，共有13家厂商提交了584项竞赛成绩，而在边缘固定任务重要赛道中，也有11家厂商提交了326项竞赛成绩，显示出厂商对边缘与AI融合的关注度日益提升。

浪潮AI服务器的出色表现，也得益于浪潮在AI计算系统创新上卓越的系统设计能力和全栈优化能力。在硬件层面，通过对CPU、GPU硬件性能的精细校准和全面优化，使CPU性能、GPU性能、CPU与GPU之间的数据通路均处于最优状态；在软件层面，通过对TensorRT的深度优化，结合GPU硬件拓扑对多GPU的轮询调度优化使单卡至多卡性能达到了近似线性扩展。

很明显，这种综合能力的表现，充分验证了浪潮信息总裁彭震所提出的，“用创新的体系结构，实现多元算力的高效聚合和按需定义”的理解。通过异构资源池化实现多元高效能，同时通过软件定义实现应用智能感知和资源随需组合，让底层资源随上层应用按需定义。

同样也是基于产品创新能力的不断丰厚，浪潮如今已成为全球领先的AI计算厂商，最新的全球人工智能服务器的市场占有率，浪潮以16.4%，排名全球第一。

我们知道，随着应用场景的不断成熟，人工智能也正逐渐渗透到各行各业，产业AI化将迎来爆发增长。这意味着，未来所有行业的算力需求都将是AI算力，谁掌握了最强大AI算力，就是掌握了整个计算产业的未来。已在AI算力抢占了技术制高点的浪潮，正在通过这条创新之路，走上属于自己的王者之路。