基于SSVEP-EOG的混合BCI用于机械臂控制
更多技术干货第一时间送达
操作机械臂过程
利用脑机接口控制机械臂可以改善重度运动障碍者的生活质量。机器人手臂控制在完成一系列动作的复杂任务时仍然存在挑战。华中科技大学的研究人员研究发现有效的开关和及时的取消指令有助于机械臂的应用。研究人员在本研究中提出了一种异步混合BCI。使用基于稳态视觉诱发电位(SSVEP)的BCI来作为具有六个自由度的机械臂的基本控制。研究人员在该项目中设计了基于EOG的开关，该开关通过检测三次眨眼来激活或停用基于SSVEP的BCI的闪烁。在空闲状态下停止闪烁可以帮助减少视觉疲劳和错误激活率(FAR)。此外，在反馈阶段，用户只需眨眨眼即可取消当前命令，以免执行不正确的指令。
受试者选择
15名视力正常或矫正的正常健康志愿者(8名女性；年龄24.9±2.5岁)参加了实验。11名受试者进行了两个在线实验，以评估基于EOG-SSVEP的混合BCI的性能。六名受试者进行了对比的实验，以评估使用EOG取消命令的有效性。
数据采集系统
图1.记录EEG的九个电极的位置
在这项研究中，EEG和EOG信号在采样率为250 Hz，分别使用0.1和250 Hz的高通和低通滤波器记录。根据国际10-20系统，总共放置了9个电极，即HEOR，Fp1，Pz，PO3，POz，PO4，O1，Oz和O2(见图1)。电极Pz，PO3，POz，PO4，O1，Oz和O2用于收集基于SSVEP的EEG原始信号，选择电极HEOR和Fp1来记录EOG信号。前额电极(AFz)用作接地，参考电极位于顶点(Cz)上。
GUI
在该项试验中，研究者设计的GUI是由两个会话组成：切换界面，在屏幕中央显示“请眨三次快速打开/关闭基于SSVEP的界面”，提示受试者使用EOG-based开关，基于SSVEP的界面，由代表15个命令的3×5闪烁刺激矩阵组成，这些命令旨在控制机械臂的抓握和移动动作。
图2.基于EOG的开关(A)和基于SSVEP的BCI (B)的GUI
上图为基于EOG的开关(A)和基于SSVEP的BCI (B)的GUI。在(C)中，一个标有不同刺激频率的3×5闪烁的刺激矩阵表示总共15条用于机械手控制的命令。
系统配置描述
本研究将眼球运动与SSVEP相结合，实现了一种异步混合脑机接口。如图3所示，本研究提出的基于异步EOG-SSVEP的机械臂控制系统主要由脑电图采集装置、视觉刺激计算机、机械臂和作为数据在线处理器的上位机四个硬件部分组成。
图3.用于机器人手臂控制的混合BCI的示意图
图4.系统流程图
系统流程图如图4所示。实验开始后，首先对受试者记录的EEG数据进行预处理，以消除基线漂移和环境影响。然后，只有当系统检测到受试者眨眼三下时，才能激活SSVEP界面。为有效检测在受试者快速眨眼三遍时产生的EOG信号，研究人员在线实验之前进行了校准。当受试者希望关闭按钮的闪光并返回到基于EOG的开关界面时，他们可以快速眨眼三下。如果未检测到三次眨眼，则SSVEP信号的分类将被传输到视觉刺激计算机作为反馈给受试者。具体分类结果对应于机器人控制命令。一旦受试者想要取消发送给机械臂的命令，就要求他或她在发生反馈后执行眨眼动作。如果在反馈阶段未检测到眨眼，则机械臂将执行相关命令，然后另一个闪烁周期开始生成另一个新命令。
图5.眨眼的原始和差分EOG数据
图5中显示了在试验中来自受试者HEOR通道的原始和差分EOG数据，该数据提示受试者在校准过程中眨眼。眨眼的差分EOG数据包含正波和负波，其幅度远大于不执行眨眼时EOG的波动。
图6.三次眨眼的原始和差分EOG数据
上图显示了来自Fp1通道的原始和差分EOG数据，该试验促使受试者在校准过程中进行三次眨眼。因此，为了有效识别在线实验中的有意眼动，我们首先对每个被试者进行一个校准过程，以获得上述检测算法所需的阈值。
表1中的结果表明，基于EOG的开关导致非常低的FAR，所有受试者平均每分钟0.01个事件，这意味着该开关具有良好的稳定性和可靠性。受试者能够通过三次眨眼使用该开关，以停止处于空闲状态的按钮闪烁，从而减轻视觉疲劳。在反馈阶段检测到眨眼，平均TPR为93.54％，FPR为0.46％，这表明可以使用眨眼来取消命令。在反馈阶段对眨眼的有效检测使其对于机器人手臂的控制更加方便有效。对于基于SSVEP的BCI，表2中的结果表明，所提出的系统在机械臂控制中运行良好，平均精度为92.09％，平均ITR为35.98 bit / min。因此，基于提示的实验(cue-based experiment)结果说明了混合BCI在实际应用中执行复杂任务的潜力。
在基于提示的实验(cue-basedexperiment)之后，受试者熟悉了所提出的混合BCI的过程，然后要求他们异步地利用所提出的系统来操作机械臂以执行复杂的任务：抓握、抬起和移动目标对象(例如，一个布娃娃)从初始位置到特定位置的。图7显示了控制机械臂完成指定动作的过程。在机械手自定步调的实验中，所有受试者通过混合BCI系统直接控制机械手，成功实现了对目标物体的异步抓取，并将目标物体从初始位置移动到特定位置。为了评估混合BCI在执行复杂任务中的效率，我们记录了机械臂操作中每个受试者的完成时间和命令总数。表3显示了通过基于EOG-SSVEP的BCI混合机器人操作机械臂的异步实验结果。
图7.操作机械臂从(a–f)抓取，抬起和移动目标物体的过程
由于它是一项复杂的任务，因此每个受试者完成任务所需的命令数量和时间有所不同，这与很多因素有关，例如分类的准确性，注意力和专注力，规划和掌握策略，以及熟练掌握机械臂操作。
至于基于SSVEP的BCI的分类，我们使用FBCCA方法进行分类，并比较了在不同窗口长度下FBCCA和CCA方法的分类结果，如图8所示。统计结果显示，FBCCA在各窗口长度上的分类精度均显著优于CCA (p < 0.01)。在相同的刺激时间长度下，由于使用了谐波频率信息，FBCCA的分类精度优于CCA(Chen et al.， 2015a,b)。
图8.在基于提示的实验中，11个主题在不同窗口长度下的平均分类比较
图9.在基于提示的实验中，CCA和FBCCA的个体分类比较
上图显示了在基于提示的实验(cue-based experiment)中CCA和FBCCA方法的个体分类准确率。结果表明，对于所有受试者，尤其是那些CCA分类准确度较低的受试者，在每个窗口长度上，FCBCA均优于CCA。不过，在GUI中按钮的闪烁仍然容易引起用户的疲劳。
十五名受试者参加并完成了实验。基于提示的实验(cue-based experiment)获得了92.09％的平均准确度，信息传输率(ITR)达到35.98 bits/min。开关的平均FAR为0.01 / min。此外，所有对象都成功地异步操作了机械臂，以抓紧，抬起目标物体并将其从初始位置移动到特定位置。结果表明，在BCI中结合EOG和SSVEP信号的可行性以及EOG信号的灵活性，可以完成复杂的机械臂控制任务。本文提出的异步混合脑机接口和新技术的结合作为未来的研究方向，将使BCI更加方便和友好。
参考
A Hybrid BCI Based on SSVEP and EOG for Robotic Arm Control