加速神经拟态视觉传感技术落地，法国初创公司「普诺飞思Prophesee」进驻中国市场
文丨李子月Zoe
编丨石亚琼
**
普诺飞思（Prophesee）2014年创立于巴黎，专注于神经拟态视觉传感技术，引入计算机视觉新类别——基于事件的视觉（Event-based）。其研发的普诺飞思原视觉（Metavision®）传感器可应用于手机、自动驾驶、工业自动化、物联网、AR/VR、医疗设备等领域。目前第三代传感器已实现盈利，第四代传感器将于今年年底大规模量产。
此前，普诺飞思曾获360 Capital Partners，欧洲投资银行，iBionext，韦豪创芯，英特尔资本，雷诺集团，博世创投，创新工场（普诺飞思是创新工场投资的第一家欧洲企业），Supernova Invest，小米等投资。
联合创始人兼CEO Luca Verre拥有米兰理工大学和巴黎中央理工学院的物理学、电子和工业工程双硕士学位，以及欧洲工商管理学院的工商管理硕士学位，曾在施耐德电气公司负责项目及产品管理、市场营销和业务开发等。在加入施耐德电气之前，还曾任丰田汽车和Altis半导体的工程师，并在伦敦帝国理工学院担任光子学研究助理。联合创始人兼CTO Christoph Posch拥有维也纳工业大学电子与通信工程硕士学位，实验物理学和微电子学博士学位，曾创立法国生物电子公司Pixium Vision。普诺飞思共有100多名工程师，50多项国际专利。
除巴黎总部外，普诺飞思上海、东京、硅谷和格勒诺布尔均设有办事处。谈及进驻中国市场的原因，Luca Verre 表示：中国拥有最大的移动设备市场，安防、工业等领域也有非常多的机会；中国强大的半导体生态系统也将促进普诺飞思的迅速发展。目前公司正在积极发展中国团队，寻找机器视觉工程师、系统工程师和销售经理等人才。
基于帧的技术VS基于事件的技术
传统的图像传感器采用基于帧的技术（Frame-based）。通过每秒捕获多帧静止图像来表达/记录场景运动，并通过连续快速的展示，让观看者的视觉产生连续运动的错觉。其中的弊病有二：一是每帧之间是空白的，必然会丢失运动物体的部分信息。二是无论场景是否发生变化，传感器中的像素都会进行记录，相同的背景信息被重复记录，从而生成大量无用数据。
（高尔夫球手挥杆场景演示 图片来源：采访供图）
以高尔夫球手挥杆为例，在这一场景中，重要的信息是球杆的摆动和球的运动，但传统传感器将丢失这些信息的某一部分，同时反复记录他身后不变的天空、树木和草地。
（基于帧的传感器（左）和基于事件的视觉技术（右） 图片来源：采访供图）
而我们的眼睛并不会以帧为单位记录场景图像，只是在场景产生变化时传递信息给大脑。通过这样的方式，人眼只收集必要信息，而不必浪费时间和精力重复处理场景中没有变化的图像。
普诺飞思所采用的基于事件的视觉技术（Event-based），便是受到了人眼视网膜和大脑工作原理的启发。在普诺飞思原视觉（Metavision®）传感器中，每个像素都是异步且独立的，像素不再由固定的时序源（帧时钟）控制，而是由信号在幅度域的变化来控制，并在检测到变化或运动时进行记录。图像信息不是逐帧发送，而是通过连续的信息流捕获时间运动，并且帧与帧之间没有任何重要信息遗漏。
普诺飞思基于事件的视觉系统产生的数据量比传统图像传感器减少十到千倍，等效时间帧速率>10k fps。其传感器可实现像素级别的曝光调节，即使在极暗或极亮的光照条件下，也能实现>120dB的动态范围，低光灵敏度<1lux。
普诺飞思的四代传感器
普诺飞思第一代传感器用于帮助盲人部分视力恢复。如其与法国生物电子公司Pixium Vision合作研发的无线视网膜植入物。
普诺飞思第三代原视觉传感器已经量产，主要应用于工业自动化，尤其是高速机器视觉领域，如高速计数、激光焊接监控、震动测量等。如德国Imago已将其集成到了工业级相机系统中。这一代产品目前已经盈利。
普诺飞思与索尼合作研发的第四代传感器主要应用于工业和物联网，目前正在与客户的测试阶段，预计今年年底能够大规模量产。基于事件的视觉传感器的每个像素都是独立的，晶体管数量较多，使得降低芯片尺寸成为难题。普诺飞思的第四代传感器应用了索尼BSI（背照式）和3D堆叠工艺，大大降低了传感器尺寸。第三代传感器（图左）尺寸为15μm，第四代传感器尺寸为4.86μm，是目前基于视觉的传感器中的最小尺寸。
（普诺飞思第三代和第四代芯片 图片来源：采访供图）
此外，普诺飞思近期还推出了评估套件EVK 3（支持与索尼半导体共同开发的4.1 HD传感器和3.1 VGA传感器）。EVK 3与Metavision®️智能套件（由Player、Designer和SDK组成，提供近100种算法、67个代码实例和11个特定用例的应用模型）完全兼容，用于帮助用户更好地评估和发挥传感器的性能。Luca Verre表示，相较于同类公司，普诺飞思更早地布局软件开发，并关注到软硬件的配合。
应用领域
智能驾驶
座舱监控：Xperi旗下子公司DTS基于普诺飞思原视觉（Metavision®️）传感技术提供的事件数据，开发了基于神经拟态视觉系统的驾驶员监控解决方案（DMS），提供了更优的微光性能，以及新的检测功能，如眼跳或微表情检测等。
（Xperi研发的首个神经拟态DMS 图片来源：采访供图）
驾驶辅助：高级驾驶辅助软件开发商Terranet AB与梅赛德斯-奔驰共同开发的VoxelFlow™传感器，采用了普诺飞思原视觉（Metavision®️）传感器，可扫描车辆周围半径为40米的区域，反应时间为3毫秒。
（Terranet研发的基于事件的视觉驾驶辅助系统 图片来源：采访供图）
医疗
细胞疗法：Cambridge Consultants的自动化污染检测系统中，使用了普诺飞思原视觉（Metavision®️）传感器和AI模型来检测、跟踪和分类污染物。
（Cambridge Consultants研发的实时污染检测系统 图片来源：采访供图）
恢复部分视力：除上文提到的，与法国生物电子公司Pixium Vision合作研发建立物理视网膜植入物外，最近还与GenSight Biologics合作。在首例晚期视网膜色素变性（RP）失明患者恢复部分视力的病例中（报告发表于《自然-医学》），该患者接受了GenSight Biologics的GS030光遗传疗法试验。这一项目将基因疗法与光刺激医疗设备与护目镜的形式相结合，通过普诺飞思基于事件的原视觉（Metavision®）传感器来感知世界。
（Gensight Biologics盲人视觉部分恢复技术 图片来源：采访供图）
工业自动化
高速计数：上文提到的德国Imago已将普诺飞思基于事件的视觉技术应用于工业部署。
震动监测：通过追踪场景中每个像素的时间变化，以像素级精度连续远程监控振动频率。
（用于预测性维护的逐像素振动监测技术 图片来源：采访供图）
手机
提升传统相机性能：可在较苛刻的速度和光照条件下拍出更清晰的影像，一次即可拍下最美的照片，且时间可放慢至10000倍。
实时图像去模糊：通过算法捕捉到时间分辨率达1微秒的运动，并处理与之相关的运动模糊。
神经拟态领域的高校、研究所和公司
神经拟态传感技术最早源于 1990 年代瑞士苏黎世联邦理工学院（ETH Zurich），苏黎世理工大学和苏黎世大学联合创办的神经信息学院（INI）是神经拟态芯片和算法领域学术界的权威。其他此领域著名的大学还有西班牙塞维利亚大学（University of Seville in Spain）和匹兹堡大学（Pittsburgh University in Pennsylvania）等。
目前神经拟态领域初创公司包括两类，第一类将重点放在传感器的研发上面：源于ETH的Insightness，2019年被索尼收购；同样源于ETH的Inivation；由新加坡南洋理工大学教授陈守顺创立的芯仑光电，目前已经成为中国半导体龙头之一韦尔股份的子公司；源于CSEM Zurich的锐思智芯（Alpsentek），今年七月获得由海康威视、舜宇光学等大厂投资的pre-A轮融资。
第二类初创公司将重点放在神经拟态计算上，包括：ETH博士刘洪杰创立的九天睿芯（Reexen），今年6获由韦豪创芯和浦东科创联合领投的亿元级A轮融资，去年获奇绩创坛Pre-A轮融资；来自瑞士神经信息学院（INI）的海归学者乔宁博士创立的时识科技（SynSense），曾获百度、Merck、中科创星等业界和资本支持。今年10月，普诺飞思与时识科技建立战略合作关系，时识科技将自主研发的低功耗视觉SNN处理器DYNAP-CNN® 与普诺飞思基于事件的 Metavision® 传感器结合在一颗单芯片上，并专注于开发一系列低成本且可大批量生产的模组产品。
传统CIS巨头也开始布局神经拟态传感器，如上文提到的索尼对Insightnesss的收购和与普诺飞思的合作；三星也将这种动态视觉传感器 DVS 技术应用于汽车高级驾驶辅助系统（ADAS）。