基于AI的便携式神经假肢让截肢14年患者操作自如，高精度、低延迟
近日，来自明尼苏达大学的研究团队及其合作者，共同开发出了一种基于深度学习的便携式独立神经假肢。
据了解，研究人员基于递归神经网络(RNN)架构设计了该神经解码器，并部署在边缘计算平台NVIDIA Jetson Nano上进行了验证。最终结果显示：实验结果表明，在各种实验室和真实环境中，该系统能够提供强大的、高精度（95-99%）和低延迟（50-120ms）的手指运动控制能力。
截肢者通过神经记录实时控制单个手指的运动(来源：学术头条)
研究人员所创建的便携式神经假肢系统如下图所示。下图(A)显示了所提出的神经假体手部神经解码器，它包括Scorpius神经接口、带有定制载体板的Jetson Nano、定制手控器和基于深度学习的神经解码器。图2(B)给出了将原型系统作为一个独立的便携式单元连接到截肢者现有的假肢插槽。在实践中，整个系统可以集成到假肢的内部，取代现有的EMG传感器和电子设备，从而对手的重量和美学产生最小的影响。
神经解码器
作为一个独立的便携式单元，附加在截肢者现有的假肢插座上的原型系统
神经数据由Scorpius神经接口获取。每个Scorpius设备有8个记录通道，配备了频率整形(FS)放大器和高精度模数转换器(ADC)。根据所需通道的数量，可以部署多个设备。事实证明，FS神经记录仪能够在抑制不良伪影的同时获得超低噪声神经信号。原始的神经数据会直接传输到Jetson Nano进行进一步处理。
上图详细地展示了各个组件的硬件实现。每个Scorpius设备(图3(A))都配备了一个3mm × 3mm的Neuronix芯片，其中包含完全集成的FS放大器和ADC。该设备的其余部分为芯片提供低噪音电源电压，并通过一个USB链路将原始神经数据传递给AI引擎。
研究者设计了深度学习模型，并对该模型进行完整训练后，该模型被用来将神经信号实时转换成受试者个人手指运动的真实意图。最终的预测被发送到手控制器来驱动假肢。假肢拥有五个独立驱动的手指，搭配研究团队定制的控制器（上图B），实现对手指的控制。
研究人员为了能使 Jetson Nano 更好的发挥作用，专门设计了一个定制的载板（上图C），为 Nano 模块提供电源管理和输入与输出连接。
下图展示了部署在JetsonNano上的数据处理流程概述。
部署在JetsonNano上的数据处理流程概述
研究人员使用Python实现了数据处理程序，由三个独立的线程组成，分别用于数据采集，数据预处理和电机解码。多线程实现有助于最大程度地利用CPU，并减少处理延迟。数据采集线程对两个或更多Scorpius设备的数据进行轮询，并将它们对齐到合适的通道中(上图A)。
研究者对数据进行预处理，清除所有噪声源后被发送到深度学习模型中，基于深度学习的电机解码器的体系结构如上图B所示，最多可以部署五个深度学习模型，每个模型控制一个或多个手指的运动。通过深度学习模型后，可以得到具有控制每个手指运动的最终输出。因此，五根手指可以分别对应不同的输出从而产生不同的动作。
研究团队选择了一个截肢 14 年的患者者进行临床实验。所有的数据采集和处理都是由 Jetson Nano 实时完成的，没有与任何远程计算机进行有线或无线通信。
下图(A)显示了截肢患者与获取训练数据的实验设置。图5(B)显示了病人受伤的手的放大图。研究人员将植入物的大致位置标记在残端附近，策略性地将其定位在远离前臂残留肌肉的位置，以减少体积传导肌电图。电极导线通过手臂上的经皮孔取出，并固定在两个连接器块上。Scorpius设备连接到模块。
神经解码模型在两个月前收集的数据集上进行训练和优化。所有的数据采集和处理都是由Jetson Nano实时完成的。截肢者用他另一只灵巧的手来向外界观察者展示他移动手指的意图。结果表明，机械手准确地符合操作者的运动意图。
截肢者使用神经假肢进行室内测试
截肢者还测试了假肢手在各种姿势下的健壮性，因为将手臂伸直并向上举起可能会产生相当大的EMG噪声。可以发现，系统的响应性略有变化，但没有明显的电机解码精度下降。
患者还在主机上接受测试，完整视频如下。
编译作者：社区编辑