实际BCI应用:异步EEG/EOG BCI手抓取和释放的可行性
更多技术干货第一时间送达
你有没有想过，身体需要多少传感器、信号处理和子任务来处理和执行一个成功的命令?
Crea等人在Scientific Reports 2018中的论文《Feasibility and safety of shared EEG/EOG and vision-guidedautonomous whole-arm exoskeleton control to perform activities of daily living》这篇论文代表了迈向实用脑机接口(BCI)的激动人心的一步。在该项研究中，研究人员专为手臂和手指控制严重缺陷而影响日常活动（例如饮酒或饮食）的患者设计了BCI系统。例如，这种损伤是由脊髓损伤或中风引起的，并且对生活质量有很大的影响。
该项研究中所述的BCI是一个复杂的系统，它结合了一个完整的手臂外骨骼，目的是整合EEG和EOG(来自大脑和眼球运动的电信号)来达到和抓取控制能力。主要的挑战是在如何让系统易于使用，也就是用户友好，同时保证系统的安全和有效。
整个手臂外骨骼的不同组成部分的示意图
上图中，(a)NeuroExos肩肘模块（NESM）外骨骼，由三部分组成：肩膀，手臂和肘部；(b)手腕外骨骼包括两个模块：手模块允许手张开或闭合运动，而手腕模块允许前旋或后仰运动。
正如论文作者所指出的，侵入性测量的最新研究[1,2](如下图)已经获得了非常吸引人的结果。然而在植入时依旧存在风险和发病率。这篇论文的作者(由SurjoSoekadar领导)在之前的工作中(与我们尊敬的导师Niels Birbaumer)证明了异步EEG/EOG BCI用于抓取的可行性。这里，研究者指的是可以在任何时间使用的接口，而不需要与时间线索同步(如果有时间线索的话，会极大地促进算法的发展，尽管会极大地减少用户体验)。
参与者S3使用DLR机械臂从瓶子中喝水
图中第一次成功试验的四张连续图像显示了参与者S3使用机械手臂抓住瓶子，把它拿到嘴边，用吸管喝咖啡(她的标准饮用方法)，然后把瓶子放回桌上。背景中的研究人员被安置在监控参与者和机器人手臂的位置。
该项目的研究成果在两个方面中实现了非常大的创新。首先，它们扩展了接口。用作者的话表示，“与简单的抓握任务相比，例如，操作整个手臂的外骨骼来喝水，涉及到一系列的子任务，如伸手、抓握和举起。”“这种扩展转化为更大的可能行动空间，具有大量的自由度。对信息传输带宽的需求迅速增长。为了解决这个问题，机器人技术以视觉引导的自主系统的形式出现。类似的过程发生在大脑中，“自动化”的任务并没有被有意识地控制。
换句话说，该系统是由EEG和EOG信号连接起来的人与机器智能的融合。机器人和人类合作完成的任务是拿起一杯水，喝完，然后把它放回桌子上。人类位于指令链的顶端，通过EOG信号启动到达动作，并通过EEG抓取动作，如下图所示。
基于脑电图/眼电图（EEG / EOG）触发的有限状态机（FSM）的
共享人类机器人控制策略
图中 (a)可视化由EEG / EOG控制的全臂外骨骼动作。绿色箭头表示使用EOG记录的向右水平向眼(HOVr)记录，而“张开的手”和“张开的手”指示与抓握和释放动作的运动图像有关的感觉运动节律(SMRERD，9–15 Hz)的EEG不同步。紫色箭头表示整个手臂的外骨骼的动作。(b)整个手臂外骨骼控制回路的流程图。
对于EEG/EOG，作者使用了Neuroelectrics的Enobio无线系统，使用了6个固体凝胶电极。使用BCI2000，这些信号被转换成命令，与机器人视觉引导系统共享控制外骨骼。后者是用来跟踪和达到被抓住的对象。整个系统相当复杂，包括红外摄像机、Enobio、外骨骼组件(手腕部和肩肘部)和视觉界面。大多数子系统间的通信是通过TCP/IP进行中介的(例如，Enobio的软件NIC可以在网络上连续传输EEG数据)。
基于TCP/IP协议和模拟通信的组件和通信体系结构
未来的发展
最终的结果会让科幻迷们想起半机械人的概念，或者更准确地说，像一只龙虾(不是用内部植入物制造的，而是用一个智能外壳，就像钢铁侠穿的那样)。正是人类和人工智能与机器人技术的奇妙融合，使得这一技术以及类似的技术发展令人兴奋，因为它们通过与外皮层的共享控制，绕过了BCI的带宽限制。随着这类系统中的所有技术元素(传感器、信号处理、人工智能、机器人)的发展和融合，它们的影响将是巨大的，可能会蔓延到消费者应用领域。
参考
[1]Restoration of reaching and grasping movements through brain-controlled muscle stimulation in a person with tetraplegia: a proof-of-concept demonstration
[2]Reach and grasp by people with tetraplegia using a neurally controlled robotic arm
https://www.neuroelectrics.com/blog/2018/07/31/practical-bci-application-feasibility-of-asynchronous-eeg-eog-bcis-for-grasping/
上述分享其目的在于促进信息分享交流，不做商业用途。若有侵权，请及时通知后台，管理人员删侵。
更多阅读
脑电特征提取算法 | 共空间模式 Common Spatial Pattern(CSP)研究进展、算法原理及其它的代码案例