打破数据壁垒 构建鲲鹏计算产业的金字塔基
来源：懂懂笔记
“算力是新生产力，数据是新生产资料，而5G、AI和云是新生产工具。”华为Cloud & AI产品与服务总裁侯金龙认为，在生产工具齐备的情况下，算力作为创造智能财富的能力，并没有对数据做到真正的开发。
随着5G、AI、云等技术的深度应用与融合，剧增的数据正在改变我们的生产和生活，但也带来找数难、取数难、用数难等挑战。我们会发现，空有这些数据生产资料，竟然无法产生价值。
以深圳为例，这个城市有超过200万摄像头，每天将产生80 PB数据，如果要保存数据30天，就需要高达240 PB的数据存储空间，这是很难实现的，因此大量的数据只能存储几天。根据预测，全球数据量将从2018年的33 ZB快速增长到2025年的180 ZB。但是，产生的数据中仅有不到2%被保存，而被保存的数据中仅有不到10%被应用。
海量数据增长的背后，是需要海量存储和计算的资源调配，如果不能提高算力，面对无限增长又无用的数据，智能时代永远无法到来。
数据之于互联网就像血液之于骨骼，但如今，数据有四堵看不见的围墙，“存储内部系统墙”、“数据库与存储链路墙”、“大数据与存储配置墙”、“数据库与大数据协同墙”，它们就像一个个血管中凝结的血块，阻碍了大数据的自由流动。
麦肯锡曾研究发现，在过去十年中，数据流动使全球GDP贡献增长了10.1%。在全球范围内，与连通性较低的经济体相比，连通性较高的经济体获得的收益最多高出40%。庞杂的数据虽然孕育着各种机遇，但企业数据共享这一概念还远远没有达成共识，数据无法自由流动成为摆在企业面前的一道难以跨越的门槛。
在互联网时代很难解开数据的“死结”，而智能时代想要实现企业效率的提升和总拥有成本的降低，就必须要打破这四堵墙。
作为具有行业前瞻性和勇于创新的企业，华为提出了全新的思路：从底端一起携手搭建金字塔。
11月19日，华为在深圳宣布，面向鲲鹏计算产业，全面启动数据基础设施战略，并开源数据虚拟化引擎HetuEngine（河图引擎）。这是继“鲲鹏+昇腾”双引擎全面启航计算战略后，华为从数据角度对计算战略的再度阐述。
华为数据基础设施战略围绕数据“采-存-算-管-用”的全生命周期，涵盖数据存储、数据处理、数据管理系统、数据虚拟化引擎等。从数据基础设施的底层出发，实现数据高效共享和分析，降本增效，最终突破数据的围墙，让数据融合更彻底；在顶层基于AI芯片、存储和华为云的三层架构，通过云上云下结合，云上训练和云下推理，让系统越用越快、越用越省。
可见，河图引擎可以屏蔽数据基础设施的复杂度，让开发者像使用数据库一样使用大数据，复用现有的生态、工具和技能。
“为了更好地发展数据产业，华为将开源河图引擎，开源版本的河图引擎叫openHetu，将于2020年6月上线。我们将开源内核，开发者可以基于开源代码进行定制，包括数据源扩展、SQL执行策略等，实现应用快速对接，提升开发效率。”侯金龙介绍，河图引擎有4个核心能力，其中之一便是统一安全。
在企业最关心的安全层面，它通过细粒度动态授权、敏感数据自动感知等技术，实现异地异构数据源集中式安全配置与管控，使数据全局可控，数据授权时间从天到秒，解决企业的数据安全与合规问题。
通过数据基础设施战略，让华为与合作伙伴的关系更加紧密，并且面向更多企业敞开胸怀。实际上全球科技企业正在迎来开源潮，当开源成为一种商业模式，一种企业生态，一种行业合作手段之后，开源就成为企业成长、生态繁荣的新渠道。
华为已经接连开源了方舟编译器、服务器操作系统、GaussDB OLTP单机版数据库等多个项目。基于鲲鹏计算产业，华为是以全开放心态实施全产业链开源策略。
开源软件采用了开放源代码、免费分发等形式，减少了营销与销售成本，更易于广泛传播。企业开源相当于兴建了一家大型商超，开源软件等于降低了商品进入的门槛，吸引更多的商品填充到货架上。
而华为的全产业链开源则更加彻底，它开放了从商品生产到流通销售的整个环节，因为参与到生产过程中，便把开源的风险降到最低，这种前店后厂的合作模式，也让客户更加放心。
这种开源模式企业不仅需要胆识与气度，更需要深远的产业格局与核心技术实力支撑，因为这等于是将自己到手的利益与他人分享。侯金龙强调，华为不仅要向开发者开放硬件，更要发挥软硬协同的优势，释放更大的算力。
华为与产业合作伙伴携手共建的鲲鹏计算产业，包括PC、服务器、存储、操作系统、中间件、虚拟化、数据库、云服务及行业应用等。华为则聚焦于发展华为鲲鹏+昇腾双引擎基础芯片族，共同为各行各业提供基于鲲鹏和昇腾处理器的IT基础设施及行业应用。
“利用硬件能力，我们对外提供主板、SSD、网卡、RAID卡、Atlas模组和板卡，有限支撑合作伙伴发展服务器和PC等计算产品。软件方面开源操作系统、数据库和AI计算框架，使能伙伴发展自己品牌的产品。”侯金龙对鲲鹏计算产业的定位是“硬件开放、软件开源、使能合作伙伴”。
今年9月华为华为在全联接大会上发布了“一云两翼双引擎”的鲲鹏计算产业布局，基于“鲲鹏+昇腾”双引擎正式全面启航计算战略，宣布开源服务器操作系统、GaussDB OLTP单机版数据库，开放鲲鹏主板，拥抱多样性计算时代。为了支持鲲鹏产业生态的建设和发展，华为计划在未来五年内投资15亿美金来发展鲲鹏产业生态。
据预计，整个计算产业生态体系在全球有近两万亿美元的市场空间，在中国则超过1.1万亿人民币。从行业趋势和应用需求看，多样性计算时代正在到来，多种数据类型和场景驱使计算架构的优化，多种计算架构的组合是实现最优性能计算的必然选择。
面向多样性计算时代，即便是巨头企业也无法将触手蔓延向整个产业链。华为率先通过鲲鹏产业，全产业链深度的开源与合作，与IT业伙伴共同做大产业蛋糕。
国内外做开放生态的企业不在不少。2014年微软便在其云平台Azure上支持并使用Linux并成为开放源代码的拥护者。国内的百度开源了71个项目，阿里巴巴开源了73个项目，腾讯的开源项目更是达到75个。
但像鲲鹏计算产业这样，实现整体开源的企业却少之又少。除了产业链配套原因外，算力无法跟上开源后数据的爆发式增长，让很多企业空有开源数据，却无法从数据管理走向数据运营。
随着5G、AI和云的普及，数据量正以惊人的速度增长，从1080P到4K、8K，视频数据量将提升40倍，从4K到4K VR要增加6倍以上。未来每辆自动驾驶汽车每天就会产生高达64 TB数据，如果把数据存储在硬盘上，无异于一个新的动力电池包。
自动驾驶技术不仅需要云数据支持，更需要超强算力支持实时智能分析，所有车厂在正式发布自动驾驶软件之前，都需要在数据中心进行大量的自动驾驶模型训练。算力的水平决定了智能科技产业成熟商用的时间。
过去5年，通用CPU的发展遇到了一系列技术瓶颈，其单核性能平均每年提升不足10%，市场视为发展指引的摩尔定律开始放缓，甚至有人指出其不断接近极限，计算架构需要新的创新力。华为的鲲鹏和昇腾正是在这样的背景下出生——以全新的计算架构，面向未来。
华为的名字过去很少与计算这个词联接在一起，事实上，华为在计算领域已经经历了15年的积累。
处理器是整个计算产业的基础，有“芯”才有力。从2004年开始投资研发第一颗嵌入式处理芯片，目前投入超过2万名工程师。这些时间和人力，最终带来的成果便是先后面向计算产业的鲲鹏处理器、TaiShan服务器解决方案、昇腾系列处理器。
在华为鲲鹏和昇腾两大基础芯片族中，鲲鹏代表通用计算，昇腾代表AI加速能力。华为智能计算业务部总裁马海旭说：“智能世界带来了丰富的应用，产生了海量的数据，同时对算力产生了极大的需求。华为提出了多样性计算理念，面向不同应用，通过多种算力组合，打造开放的鲲鹏+昇腾计算产业生态。”
计算产业先后经历了大型计算机、小型机/x86服务器阶段，并且开创了体验好、省成本的云计算时代。在当前“云+AI+5G”技术叠加的背景下，计算产业正进入多元算力阶段，企业也需要多元化云服务架构。华为云基于鲲鹏处理器推出了华为云鲲鹏云服务和面向行业场景的解决方案，开启云上的多元新架构，探索智能计算时代的云架构。
华为依靠所积累的技术优势，打造“一云两翼双引擎”的算力产业布局，此一云正是指华为云，通过释放全栈创新技术红利，提供安全可靠的混合云，“鲲鹏+昇腾”为算力的突破插上了展翅的羽翼。
任何一个时代，总会出现属于这个时代的变革者和成功者。在计算领域，华为一步步打破阻挠算力增长和数据连接的壁垒，进一步释放计算潜能。“华为在计算产业的追求是：为世界提供最强算力，让云无处不在，让智能无所不及。”侯金龙说。