影像恋上智能：麒麟9000中的高甜CP创新
在移动芯片发展历史上，始终有这样一个趋势：伴随着智能手机的升级，移动SoC的组成模块越来越多，制程上不断挑战摩尔定律极限。
但是看多了几大厂商之间的芯片斗法，见惯了参数不断上升、模块不断增多、制程纳米数不断下降，似乎也是有点乏味。难道移动芯片的创新之路，就没有其他方向可走了吗？
今年大家最关心的移动芯片，毫无疑问是麒麟9000。这款芯片采用了5nm工艺制程，集成153亿晶体管，在性能、AI、拍照等能力上都有大幅创新，各位想必也了解过很多了。但在麒麟9000的创新中，有一项却是跟其他芯片完全不同的。那就是麒麟9000在业界首次实现ISP+NPU融合架构。
移动芯片中的融合架构创新，这个说法大家似乎很少听到，那么理解起来可能也难免生涩。但其实，麒麟9000中的这个创新，不仅将直接带给华为旗舰机，比如Mate 40系列用户以全新的影像体验，还指向着移动芯片与产品能力高度同频、智能与影像能力全面融合，这两个在今天非常核心的行业趋势。
或许可以说，麒麟9000中的ISP邂逅NPU，不仅是一枚芯片，几款手机的事，更是未来智能手机发展中的一种确定性未来。
为了帮助大家理解这个技术创新，咱们今天就换个路子：咱把ISP和NPU想象成偶像剧里的男女主角。这个架构融合就约等于组CP。顺着这个思路，咱们来聊三个问题：
1、 这对CP有什么缘分？
2、 他俩牵手需要跨过哪些障碍？
3、 CP成了之后，能给观众发哪些糖？
好，咱们这就开始。
缘分注定多时：ISP与NPU的邂逅
话说，整个一块移动SoC中，一般来说有这么几位成员：CPU、GPU、基带，ISP模块，以及这几年最火热的AI处理单元NPU。
其中ISP是手机拍照的必需品，堪称智能手机时代的江湖老男神；而NPU则是刚刚出道几年的少年侠女，兴致勃勃要闯出一片新天地。
看过电视剧的都知道，男女主就得看着有区别，不在一个路子上，这样邂逅之后才有CP感。ISP和NPU正是如此。虽然ISP和NPU，两大部件看似处在不同的道路上，但它们在目前这个周期中却有相遇的必然性。
一方面，传统的手机端ISP开始面临一系列瓶颈。比如对暗光拍摄的高要求，就为芯片硬件处理性能提出了更高要求。再比如为了解决手机摄影的进光量问题，近两年兴起了RYYB传感器，传统ISP已经无法应对其中Y像素蕴含的色彩信息容量。或许可以说，影像的世界太复杂，传统ISP有点撑不住了。
另一方面，AI算法也在面对越来越丰富的图像处理任务时，通过深度网络对逐个像素特征的学习和表达，大幅提升了画质。所以在今天，图像与视频处理过程中需要大量AI算法的计算，而ISP本身在很多任务上不具备NPU的计算效率，就需要通过ISP与其他模块间的计算传输来支撑复杂的图形图像算法，最终导致要么牺牲算法强度，要么造成处理延迟，都会导致用户体验变差。触摸到天花板的ISP，必须完成一些变革才行。当然，ISP本身也在发生不少变化，比如麒麟9000里采用了新一代的ISP 6.0图像处理器。但这还不够，为了让ISP能够发挥出跟上时代的价值，需要给他安排一场邂逅。
邂逅的对象，就是近几年风头无两的NPU。NPU在移动SoC中正处在高速进化阶段，比如麒麟9000中，华为达芬奇架构升级到了2.0版本，实现了NPU算力的再次翻倍，以148分的成绩刷新了苏黎世联邦理工学院AI Benchmark排行。
而实力雄厚的NPU，正在雄心勃勃瞄准着新机遇。AI处理能力需要与具体的任务和体验结合，才能让用户真正感觉到智能的魅力。而在一系列任务中，图像是与AI结合关系最紧密的一点。而AI计算需要跨越的主要挑战，就是高效和实时化的图像处理。
从这个关系可以看到，ISP需要更强大的AI计算能力来完成突破，NPU则需要与图像处理更紧密的联系来发挥自己的潜力，两者的缘分其实早就注定。
从这点来看，麒麟9000的ISP+NPU融合架构虽然是行业的全新突破，但从产业逻辑上却是一种必然的邂逅。
为了满足这场邂逅的充分必要条件，麒麟9000还需要完成一系列挑战。
嗑CP的准备工作：新架构，新挑战
俗话说，没有世仇的罗密欧与朱丽叶是无聊的，没有挑战的CP感也是乏味的。
ISP+NPU的架构融合，可以有效解决今天手机用户关于摄影的核心需求：一是提升了AI能力，让视频拍摄也可以获得AI支持；二是让华为提出的RYYB传感器更加出色，将摄影的细节色彩还原和暗光拍摄能力再次提升。
但这样的价值却并不容易实现，ISP与NPU的架构融合，还需要克服一系列的技术挑战，在多种高精度因素之间寻求最合适的平衡点。让我们继续磕偶像剧的思路，把ISP和NPU的架构融合挑战，想象成情侣间经常碰到的三个困难场景：
1、性格：性格不合，是很多情侣遇到的第一个问题。而AI的性格就是算法。ISP+NPU融合新架构，首先就是要找到适合这个新架构的算法。要知道，ISP作为影像处理单元，在架构融合之后要给NPU输入非常庞大而复杂的数据。为了能稳定有效地处理这样的数据，NPU需要确保运算中的鲁棒性，还需要提升运行效率。这就需要开发团队最大化让NPU的算法模型与硬件配合，确保NPU和ISP性格合适，相处得来。
2、能力：在ISP+NPU的融合架构里，一个重要目标就是满足视频拍摄时的AI处理。而这需要NPU具备足够强的能力，也就是充沛的计算能效。比如说在如30fps场景下，整个ISP链路必须在33ms内完成单帧计算工作。这就留给AI处理算法的时间很短。如果计算性能不达标，将产生极大的卡顿问题。所以说，NPU足够强劲，能够支撑起足够的计算能效，是新架构面对的第二个挑战。
3、钱包：情侣在一起，不能很快就把家底折腾没了。对于ISP+NPU的新架构来说，就是不能以过度的耗电为代价执行新架构。否则手机的耗电和发热问题会严重影响用户体验。因此架构突破还必须约束在一定的能效范畴内，不能三两下耗光手机电池的“钱包”。
这些因素的相互影响与制约下，麒麟9000的开发团队必须在算力、算法、能耗间取得一个精准的平衡点，才能达成ISP+NPU的创新。
众多技术创新背后，其实都是带着枷锁起舞。麒麟9000的ISP+NPU融合架构也是如此。只有在严苛的平衡条件下，AI计算能力和图像处理能力，才可以由原本的普通合作关系，变成一体化的高甜CP。
一系列用户体验的创新，都由此开始。
影像智能高甜时刻：
麒麟9000带给用户的质感
下面我们来回答最重要的一个问题：ISP和NPU这一对，跨过了这么多艰难也要在一起，究竟能给广大观众带来点什么？
事实上，芯片是手机产品与应用的想象力基础，真正的手机创新往往要从芯片开始。我们回到用户的视角中，会发现麒麟9000的架构创新重新打破了我们对手机影像能力的常识界定，并且将近几年备受瞩目的技术路径推到了更成熟的阶段。
对于用户来说，麒麟9000中ISP+NPU的高甜CP，带来了这样几个关于视觉世界的全新质感：
1、 升级：完美支持RYYB色彩。
新的ISP+NPU融合架构，首先实现了用智能计算的新方式，全面支持新型RYYB CFA。这让RYYB的价值被进一步放大，用户体验更加具有一致性。用户直接的感受是，日常拍照的细节和色彩还原将更加逼真，尤其是夜晚拍摄效果将得到又一次巨大升级。
2、开启：视频拍摄真智能。
ISP+NPU融合架构将超强的细节还原、降噪能力带入了视频领域，并且让暗光环境下拍摄的视频更加清晰、细节展现淋漓尽致。在新架构的支持下，麒麟9000可以实现视频拍摄智能化水准，以及实时化效果质量的全面提升。开启了智能视频时代色彩、清晰度、光线捕捉的全新水准。
3、 和谐：计算摄影与整机体验更加适配。
ISP+NPU的融合新架构，让计算摄影这个近几年的核心议题，可以与手机的整体计算、能耗体验更加适配，相互关系更加平衡。在提升摄影、摄像等视觉水准的同时，不以牺牲手机能耗为代价，细水长流，让整体体验更加顺滑。
可以说，ISP+NPU的新架构是对计算摄影新的理解，是一次芯片架构设计创新，让手机影像拍摄能力得到了一次全面升级，在追求所见极致化的路上走得更远。而麒麟9000更深层的产业意义在于，它展现了新一轮的移动芯片变革可能性。在智能手机行业中，芯片一般都是作为基础部件，不会直接考虑手机产品本身的创新需求与方向。这是全球半导体行业分工导致的常态，但在华为这样的全栈终端厂商崛起后，事情开始不断发生改变。
以麒麟9000为例，ISP+NPU的架构融合创新，更加适配华为终端产品采用的RYYB传感器、电影摄像头解决方案、影像智能等一系列新部件、新功能、新的产品方向。这展现出了华为在手机端与移动芯片端协同开发的全新高度。以用户需求和用户体验为导向，芯片开发可以与手机发展高频同步，即使需要跨越很高的融合难度，但最后依然可以把“甜美”的智能影像体验送到用户面前。
另一方面，智能技术与影像能力的融合，也让移动芯片某种程度上反思一味追求多能力、高数值的传统发展定式。
很大可能性上，ISP+NPU的融合架构创新，将是创造更多可能的开始。手机产业的软硬件之间、系统与应用之间的联系正在更加紧密。
在这对CP成功牵手出道背后，我们能看到色彩的创新可能驱动芯片的更迭；AI算法的演进也能带来拍摄体验的升级。集成化、一体化、智能化，构成了未来智能手机的康庄大道。
一条由麒麟9000开启的，高甜的智能+影像之路。