【业内热点】AI SoC互联总线遇瓶颈？那就在芯片内打造一个“互联网”吧

人工智能（AI）与5G技术发展逐渐加快，随之带来了更高的数据交换需求，这种对数据交换的需求不仅体现在系统之间的互联，也体现在芯片内部的互联。在Level4、Level5的自动驾驶中是不需要人来进行操控的，人类将身家性命完全交给半导体来判断之前，确保系统信号回路传输及时、稳定是首先需要解决的问题。而人工智能芯片运算单元丰富，传统总线架构已经成为系统性能的主要瓶颈，芯片内部的互连需要寻求一种新的方式。

“传统总线架构只适合简单架构，下一代芯片，特别是AI芯片，单芯片集成内核数量多，需要互联的模块也更多，我们考虑在芯片内部布一个网，类似互联网那样，替代总线结构，把所有数据用桥接模块分成数据包，用互联网的方法分发出去。” NetSpeed Systems大中华区销售总监黄啓弘将形象地介绍了NetSpeed SoC芯片内部互连解决方案Orion AI。

NetSpeed Systems大中华区销售总监黄啓弘

AI的主要挑战：（1）人工智能工作负载具备独特性，在训练侧和推理侧都需要大型矩阵算法；（2）人工智能架构具备独特性，内核数量多，大量并行结构，点对点通信；（3）带宽要求极高（TB/s），未来对带宽的要求将会更高。NetSpeed推出的Orion AI采用解耦架构，分层堆叠，每层均可扩展或收缩；可编程多播，最早也是目前唯一支持基于广播推送的可配置多播网络IP；服务质量（QoS）非凡，以具备端到端QoS规划的非阻塞路径来控制带宽与延迟。

黄啓弘先生介绍了Orion AI的优势，与传统总线相比，Orion AI方案解除了总线架构带来的数据吞吐量限制，片内带宽可支持到万亿字节每秒（TB/s），接口位宽高达1024位 ，内部结构位宽更高，并可支持高达4K字节的长突发传输；采用先进的低功耗管理技术提升能效；内置人工智能，利用先进人工智能算法，在解决方案空间搜寻最有效的解决方案，可谓是“用人工智能设计人工智能芯片”。

Orion AI由NetSpeed的图灵机器学习引擎提供支持，该引擎使用监督学习来探索和优化SoC设计与架构。Linley Group首席分析师Linley Gwennap表示，这是一种以人工智能为核心的设计方法，“就像有一位随时在线的建筑大师给出设计建议。处理器架构师可以采纳图灵的建议，然后花时间去解决SoC设计中的其他难题。”

NetSpeed的方案能帮助SoC设计公司大幅缩减开发时间。据了解，互连IP成本占整体AI成本的3%-10%左右。NetSpeed的客户通过采用Orion AI，在RTL阶段就可进行互连设计，大幅缩减前端设计与后端设计的试错周期，平均可节约3-4个月时间。据黄启弘介绍，NetSpeed的其中一个客户，特斯拉的自动驾驶芯片从设计到流片只花了大约九个月时间。

除了特斯拉外，NetSpeed目前还有英特尔、亚马逊这些大客户，在国内有地平线机器人、寒武纪、百度等领先的AI公司。

相比其他消费级应用，自动驾驶应用对安全等级有更高的要求，Orion AI通过了ISO 26262标准，可支持ASIL D级别安全要求，采用Orion AI来进行SoC互联设计也更容易达到汽车应用的安全要求。

NetSpeed是一个以技术为本的公司，虽然是个年轻的公司，但成立8年以来，已经申请了130多项专利。NetSpeed除了为大客户提供定制化的IP服务，还提供非加密的互连IP，在授权模式和费用上都可根据中国客户需求进行灵活调整。目前我国AI应用迅速发展，NetSpeed拥有极佳的市场机遇，NetSpeed提供的更方便、可靠的设计建议也使得AI芯片设计工程师拥有了更多的选择。