基于EEG/EMG/EOG的多模态人机接口，实时控制软机器人手

更多技术干货第一时间送达

‍‍‍

脑机接口(BCI)技术在运动康复治疗应用中有非常大的潜力，它可以利用神经可塑性来恢复运动功能，提高中风患者者的生活质量。然而，BCI系统通常很难自然地提供软机器人多任务实时控制所需的各种控制命令。来自于西安交通大学、北京航空航天大学、香港科技大学等高校研究机构的研究人员联合提出利用眼电图(EOG)、脑电图(EEG)和肌电图(EMG)的组合，开发一种新的多模态人机接口系统(mHMI)，以产生大量的控制指令。此外，研究人员还探讨一个价格适中的可穿戴软机器人在机器人辅助运动时移动基本手部动作的受试者接受度。6名健康受试者分别进行左手和右手的运动想象、左眼和右眼的眼球运动，以及不同模式下的不同手势，以控制一个软机器人的各种动作。研究结果表明，mHMI控制指令的数量明显大于单个模式下的数量。此外，mHMI平均分类准确率为93.83%，平均信息传输速率为47.41 bits/min，完全相当于控制速度为17个动作/分钟。

当前BCI系统通常很难自然地提供软机器人多任务实时控制所需的各种控制命令。来自于西安交通大学、北京航空航天大学、香港科技大学等高校研究机构的研究人员联合提出利用眼电图(EOG)、脑电图(EEG)和肌电图(EMG)的组合，开发一种新的多模态人机接口系统(mHMI)，以产生大量的控制指令。

实验设计

研究人员设计的mHMI原型将EEG，EOG和EMG模式整合成一个完全集成的系统，允许残障人士能够控制他们的周边活动。实验时要求每位受试者舒适地观看便携式笔记本电脑屏幕，如图1所示。受试者被要求将两只手臂舒适地放在桌子。

图1 显示实验条件和控制系统

上图演示了mHMI在手部测试过程中的使用原理，其中图(A)为mHMI的原型模型和实验条件；图(B)为控制系统和软机械手的原理图。

实验方法如图2所示。该方法包括训练阶段和测试阶段，如图2A所示。由于受试者熟悉该实验，故要求受试者花费<2分钟的时间进行训练，同时设置EOG和EEG模式的参数。在EOG模式下，向左或向右箭头的出现指示受试者用眼睛(向左看和向右看)跟踪箭头的方向，并保持自然眨眼。在EEG模式下，想象中的左手或右手动作依次作为提示显示在屏幕上，显示相应手动作的运动想象，持续2秒钟。EOG和EEG模式都涉及10个试验，包括5个左箭头和5个右箭头，或5次左手运动想象(MI)和5次右手MI。根据顺序的视觉提示刺激，要求所有受试者跟踪左箭头或右箭头，或者想象左手MI或右手MI。因此，每次EOG模式或EEG模式的试验持续了44 s。

图2 训练和测试范式的试验结构以及模式转换的过程

上图中(A)根据屏幕显示或计算机发出的提示，对某一训练和测试阶段的试验程序。EOG、EEG、EMG模式的时间范围分别为0 ~t1、t2 ~ t3、t4 ~ t5。模式切换的时间范围分别为t1到t2、t3到t4和t5到t6。(B)模式-交替圆环根据受试者的意图的描述三种模式的模式-交替过程。

mHMI运动意图检测

在测试阶段，许多控制场景都需要从用户意图中检测到的实时多任务控制命令。图3显示了mHMI系统是如何基于事件相关去同步(ERD)和同步(ERS)、眼球运动和手势的组合，充分利用每种模式的优点并帮助克服其缺点。在检测用户意图之前，通过每个模式采集10次试验的训练数据，分别计算阈值和训练分类器参数，建立EOG和EEG的训练模型。为了防止MYO在用户手臂上重新定位，每次MYO都必须预热并根据MYO API的要求进行特殊的校准手势。为了校准和成功同步，API能够准确计算用户的自定义配置文件，其相关参数保存在计算机中。

图3 基于mHMI的运动意图检测和控制软机器人的流程图

mHMI原型具有人机交互友好和软机器人高效实时控制的优势。mHMI的主要结构和工作流程如图4所示。

图4 mHMI的主要结构和工作流程

实验结果分析

运动意图分析

mHMI的优点之一是将EOG、EEG和EMG模式相结合来检测运动意图，并分析比较每种模式下运动意图的显著特征。EOG模式下，如图5A所示，根据不同的分布电压范围，采用眼动检测方法。第一个子图描述了原始EOG与小波去噪后信号的比较差异。在第二个子图中，如果信号大于第一个阈值180μV，则眨眼被认为是有意义的；否则将被忽略。图5B描绘了扫视检测的过程。第一个子图显示了获得4个扫视单的原始EOG。第二部分基于小波变换对其进行重构。将一些有噪声的随机信号分解为小的阶梯信号，可以从信号的点差分中得到单值脉冲信号，因此应将阈值设置为30μV以正确识别脉冲信号。如果达到或超过阈值，则脉冲信号要么被视为扫视信号，要么被忽略。校正后的扫视信号如第三子图所示：如果脉冲信号为正，则表示看起来正确；否则它表示向左看。经过正确识别后，可以将看左、看右信号转换为机器人手弯五指推、捏五指拉的命令，将双眨眼信号转换为系统切换模式的命令。

图5 眨眼和扫视检测的识别结果

经过EOG处理后，相同的部分用条形图标记为相同的颜色。(A)是基于EOG的眨眼处理结果，阈值1、2和3眨眼向量的分别代表非自愿眨眼，自愿单眨眼和自愿双眨眼，(B)是扫视，如果扫视幅度为正数，则表示左扫视(蓝色)，否则表示右扫视(绿色)。

mHMI的性能分析

受试者积极参与训练，完成基于mHMI的手部动作。图6(A-I)分别展示了日常生活中借助软机器人原型的不同手部动作，包括握拳、三指握拳、五指屈推、五指拉、手指松开、球捏、尖捏、多尖捏等。

图6 各种手动结果展示图

上图为在软机器人的帮助下受试者能够根据自己的意图快速地抓取其日常生活中的各种物体。(A,B)在EEG模式下分别显示拳头和三指握力的手动作。(C,D)分别显示EOG模式下五指推、五指拉的手动作。(E-I)在肌电图模式下，分别演示手指松开、球捏、尖捏、多尖捏和圆柱形握力的手部动作。

为了评估mHMI的性能，每个动作的时间和正确或错误动作的数量都是在每次运行时从相应的录像带中计算出来的。对各受试者的统计分析结果如下表所示。由此，每个受试者的表现可以根据这些结果进行分析。受试者的动作时间在3.24 - 3.96分钟之间，控制速度在15.08 - 18.52次/分钟之间。误差为4 ~ 8次，平均6.17±1.47次。ACC约91.83% ~96.12%，平均93.83%±0.02。显然，S1在控制速度和ACC方面都表现良好，因为该受试者经过长时间的培训并熟悉控制过程。S4也取得了显著的成绩，采取谨慎的方式获得了较好的结果，整个过程花费3.96s完成，该控制策略下的分类率为95.29%。

表1 通过对柔性机器人的实时控制，得到mHMI的6个受试者的表现

总结

在这项研究中，研究人员提出了一种面向任务的辅助和运动功能训练方法，该方法使用mHMI进行日常生活活动，并通过MI，眼睛运动和手势对软机器人进行强大的实时控制。该系统集成了EEG，EOG和EMG模式，从而以惯用的表达方式增加了对软机器人的可能控制命令。研究人员表示该项研究有望构建一种更人性化的mHMI，用于实时控制软性机器人，以帮助健康或残疾人友好、方便地进行基本手部运动。

论文详情：

An EEG/EMG/EOG-Based Multimodal Human-Machine Interface to Real-Time Control of a Soft Robot Hand

编辑|邹思