人脑已被超越！一张晶圆仅做一颗芯片的史上最大芯片成功构建120万亿个突触！
我们知道人脑中大概存在100万亿个突触，超越人脑突触数量，已成为人工智能发展的一个目标！目前的最高纪录是通过GPU集群方式已达到相当于1万亿个突触的能力。不过这一记录在今天要被改写了！拥有世界最大芯片（一张晶圆只做一颗芯片）的Cerebras Systems 公司CEO Andrew Feldman 在今天的HotChips 半导体设计线上会议上向我们展示了它号称的世界第一个人脑级 AI 解决方案——一个可以支持120万亿个参数的人工智能模型的单一系统！超过了人脑中存在的100万亿个突触。相比之下，最常用于 AI 工作负载的 GPU 集群通常最高仅达到 1 万亿个参数。而Cerebras通过将192 个CS-2 集群在一起实现了支持多达120 万亿个的参数。AndrewFeldman表示，这项技术将使最大的人工智能神经网络的规模扩大100 倍。
推荐阅读：1.史上最大芯片正式推出世界最快AI计算机：1/30体积、1/5功耗、3倍性能！谷歌TPU V3在它面前就是“渣”2. 大有可为or缺点太大？史上最大芯片及系统技术细节最新披露3. 一张晶圆仅做一颗芯片，良率100%？史上最大芯片更新至第二代4. 一片晶圆仅做一颗芯片！史上最大芯片诞生！1.2万亿个晶体管Cerebras CS-2由晶圆规模引擎（WSE-2）驱动，这是迄今为止最大的芯片，也是最快的人工智能处理器。专门为人工智能工作而设计，7纳米的WSE-2有46,225平方毫米的硅片面积、2.6万亿个晶体管和85万个人工智能优化的内核。相比之下，最大的图形处理单元只有540亿个晶体管，比WSE-2少2.55万亿个晶体管。WSE-2还拥有比图形处理单元竞争对手多123倍的内核和1000倍的高性能片上存储器。
脑尺度计算
为了进行比较，Feldman指出，人类大脑包含大约 100 万亿个突触。如前所述，最大的 AI 硬件集群大约是人类大脑规模的 1%，或者大约 1 万亿个突触当量或参数。这些图形处理器集群仅为人类大脑规模的一小部分，占用了数英亩的空间和数兆瓦的功率，并且需要专门的团队进行操作。Andrew Feldman说："更大的网络，如GPT-3，已经改变了自然语言处理（NLP）的格局，使以前无法想象的事情成为可能。该行业正在迈过一万亿参数的模型，而我们正在将这一界限扩大两个数量级，使具有120万亿参数的大脑规模的神经网络成为可能。"Cerebras的四大创新
Cerebras WeightStreaming，一种新的软件执行架构Cerebras MemoryX，一种内存扩展技术Cerebras SwarmX，一种高性能互连结构技术SelectableSparsity，一种动态稀疏度采集技术Cerebras WeightStreaming技术可以在片外存储模型参数，同时提供与片内参数相同的训练和推理性能。这种新的执行模式将计算和参数存储分解开来--允许研究人员灵活地独立扩展规模和速度--并消除了挑战小型处理器大型集群的延迟和内存带宽问题。这极大地简化了工作负载分配模型，其设计使用户可以在不改变软件的情况下从使用1个CS-2扩展到最多192个。Cerebras MemoryX将为第二代Cerebras Wafer Scale Engine（WSE-2）提供高达2.4PB的高性能内存，所有这些内存的行为就像在芯片上一样。通过MemoryX，CS-2可以支持多达120万亿个参数的模型。Cerebras SwarmX是一个高性能的、经过人工智能优化的通信结构，它将Cerebras Swarm片上结构扩展到片外。SwarmX旨在使Cerebras能够在多达192个CS-2上连接多达1.63亿个人工智能优化的内核，协同工作以训练单个神经网络。SelectableSparsity使用户能够选择其模型中的权重稀疏性水平，并直接减少FLOPs和解决时间。权重稀疏性是ML研究的一个令人兴奋的领域，但由于它在图形处理单元上的效率极低，因此研究起来很有挑战性。SelectableSparsity使CS-2能够加速工作，并使用每一种可用的稀疏性类型--包括非结构化和动态权重稀疏性--以更少的时间做出结果。Feldman说，这种技术组合将使用户能够解锁大脑规模的神经网络，并通过巨大的人工智能优化内核集群轻松分配工作。市场前景当然，世界上只有几百个客户可以使用这样的系统，但 Cerebras 的目标是简化运行 AI 模型，这些模型很容易超过任何现有模型的大小。其中许多客户可能包括军事和情报界。美国阿贡国家实验室副主任 RickStevens 说。“Cerebras 的发明将使参数容量提高 100 倍，可能具有改变行业的潜力。我们将首次能够探索大脑大小的模型，为研究和洞察开辟广阔的新途径。”关注创芯人才网，搜索职位关注创芯大讲堂，祝您IC技能更上一层楼！我就知道你“在看”