光神经网络,正在照亮智能计算的未来
如果问一个问题——能够进行深度神经网络计算的芯片有哪些?大家给出的答案可能五花八门:CPU、GPU、DSP、NPU……
过去几年里,电子计算已经成为实现人工智能算法——尤其是深度神经网络模型——最重要的算力支撑。尽管具体的硬件架构各有不同,但一言以蔽之,都是采用了冯诺依曼型的计算原理,即VLSI(超大规模集成电路)的“电子+逻辑”信息处理模式,以复杂的逻辑电路和处理器芯片来完成计算任务。
但是电子方法有其先天缺陷:一是信号之间容易相互干扰,对需要高密度连接的神经网络带来一定的困难;二是能源需求太高,导致计算成本居高不下。
在以AI为主旋律的“数字基建”大规模爆发前夜,在算力上未雨绸缪,自然也就成了学术界和产业界共同关注的头等大事。
最近,明斯特大学、牛津大学和埃克塞特大学的研究人员就共同实现了一项新的计算芯片,采用光学系统来帮助神经网络进行“学习”,以此实现计算、识别等行为。
不过,无论是光学计算,还是类脑芯片,类似的提法其实在学界早已有之,并且由于自身的局限性一直进展缓慢。那么,光学深度学习芯片的出现,是否真的突破了先天的技术桎梏,又意味着哪些新的产业机遇呢?
光学计算+深度神经网络的
“搅和”历史
在介绍新计算硬件之前,先言简意赅地解答一下大家心中可能存在的困惑——光到底是如何进行计算的?又为什么比电子方法更有优势呢?
我们知道,深度学习神经网络是模仿人类大脑神经元的运行方式而来的。在每一层中,来自上一层(或者输入源)的信号经由神经元处理,将结果和前向信号传递给下一层的神经元。
很显然,这种计算方式需要依赖神经元之间的大量、动态的连接才能完成,会对大多数使用电子方法的集成电路造成压力。
因此,大家纷纷开始研究其他硬件,光学芯片因此成为“全村的希望”。
2017年,MIT的研究人员就研发出了一种使用光子技术实现神经网络的方法。他们使用一系列相互连接的波导管(传输微波波段的电磁波装置),来为特定的计算编程。而处理器则通过一系列耦合光子波导来引导光线,因此只需要运用镜片改变光线的方向,就可以达成运算。
可编程、低能耗,听起来是不是棒棒哒?不过这种方式打造的硬件准确率实在是不太令人满意,只有77%,被传统方法吊打的节奏啊。
不过科学家们并没有认输,2018年加州大学洛杉矶分校的科学家们又将光学深度学习送上了《Science》杂志。
这次,科学家们采用3D 打印的方式制造出了一种全光学的深度学习框架D2NN。
简单来说,研究人员训练出了能够识别不同数据类型的光学网络模型,并为它们分别创建了模型,该模型由多个像素层组成,每个像素之间如同神经元一样进行连接,并通过光来传输信息。
然后,研究人员采用五层 3D 打印塑料对仿真模型进行物理再现,固态成品的探测器就可以通过物体表面反射的光来判断出相应的分类结果。
这种由光学元件堆叠而成的神经网络硬件,准确率能达到 91.75%,成本相对便宜,但是却很难做到器件的小型化,难以处理复杂的数据及图像分析,而且所有参数3D打印之后就不能被再次编程了。
(使用 3D 打印的“人工神经网络”芯片)
总结一下就是,此前的研究都对光学计算+神经网络的解决方案提出了自己的方法,但带来的问题多于答案,科学家们不得不继续探索。
全光学神经突触系统:
能否刷新光学计算的进程?
5月8日,来自德国明斯特大学的科学家将其研究成果发布在了《Nature》杂志上。
论文《All-optical spiking neurosynaptic networks with self-learning capabilities》(具有自学习功能的全光学尖峰神经突触网络),提出了一种可以在毫米级光子芯片上实现的全光学神经网络。
研究人员是这么设想的:
输入的数据(即光波导)可以被微米级环状谐振器调制成不同的波长,然后注入网络并停留在光学微芯片上。接着利用集成在一起的相变材料,来实现权重调制,这种物质可以由光触发显著的变化,非常适合模拟突触和神经元之间的“冲动”。
信息在光学神经网络中的传输,就好像是两组人(单个波导的两条路径)同时在玩传声游戏,需要隔的距离比较远,来防止另一个组的声音干扰(耦合)。同时还不能有人乱开脑洞急转弯,免得传话内容南辕北辙(光离开波导)。
因此,在每个组的传话过程中,都派出一个小秘书(相变材料),根据每组任务(权重)的不同,在每次传递过程中(微环谐振器的入口和出口处),对队员们向下传递的信息进行微调,将被传错/修改的信息复位,这样就能最大限度地保证每个队伍向后传递的信息,既能保持差异,又足够准确。
为了证明这一点,研究人员开发了一个由四个人工神经元和60个突触组成的芯片。
芯片的结构由不同的层组成,分别在光纳米电路中的不同通道上传输光。
(分子光学神经元电路)
研究人员使用了两种不同的机器学习算法,分别是小规模的监督学习和无监督学习,以光脉冲的形式向后“提供”信息,以此测试全光学神经突触系统能否根据给定的光识别出具体的模式。
目前,研究人员已经利用该技术成功实现了光学模式识别,并展现了光子神经网络的可扩展性。
在此,我们可以简单总结一下这种新光学神经网络硬件的特殊之处:
首先,它解决了前辈们没能解决的问题——光学计算在识别准确率、可编程性、微型化上的缺陷——让光学计算在计算机硬件领域的潜力带来了新的前景。
(正在开发的光学微芯片大约只有一分钱大小)
另外,该硬件的计算方式和大脑中神经元突触的信息传递高度相似,不仅使得信息(数据)得以在人工神经网络中传输,还能够进行有效的处理和存储。以更类似于大脑的方式处理信息,这有助于开发更高性能的算法,进而帮助智能机器更好地完成现实世界的任务。
而且,该系统只在光下工作,使它充分发挥了光学计算的优势,处理数据的速度要快很多倍,更适合用于一些大规模数据的神经网络,比如医学诊断模型等。并且更加节省能耗。
这也就不难理解,为什么有人认为,如果高能效的可扩展光子神经芯片最终出现,这一团队的研究绝对算是开山之作了吧。
当然,想要让可扩展光子神经网络系统在现实中应用,还需要做许多后续工作。
最首要的,就是增加人工神经元和突触的数量,以及神经网络的深度,以便进一步接近和适应真实的大规模计算应用场景。
另外,芯片的制造也存在一定的限制。对此,埃克塞特大学的戴维·赖特教授表示,将使用硅技术来生产光学纳米芯片。
另一个值得关注的问题是,系统中极为关键的相变材料,其结晶速度会吸收并减慢光速,从而限制神经元被激发的最大速率,对于光的交叉耦合带来一定的复杂影响。因此,每一次注入该系统的总光学功率都需要进行仔细校准,以保证材料对输入信号的响应完全符合预期。
不管怎么说,尽管光学计算硬件仍然在实现层面面临着许多挑战和困难,规模化应用也没有明确的时间表。但或多或少让我们看到了更多有趣可行的计算方式,未来世界的算力资源依旧是充沛和值得期待的。
随着智能基建的一步步添砖加瓦,光学计算必将变得越来越重要。