东北电力大学和长春理工大学研究团队提出的一种通过scout ESI和CNN解码EEG运动想象四分类任务的新方法
更多技术干货第一时间送达
导读
东北电力大学和长春理工大学研究团队开发并实现一种结合脑电图源成像(ESI)技术和卷积神经网络(CNN)的新方法，以对运动想象(MI)任务进行分类。ESI技术采用边界元法(BEM)和加权最小范数估计(WMNE)分别解决EEG的正向和逆向问题。然后在运动皮层中创建十个scout来选择感兴趣的区域(ROI)。研究者使用Morlet小波方法从scout的时间序列中提取特征。最后，使用CNN对MI任务进行分类。
实验结果:在Physionet数据库上的整体平均准确率达到94.5%，分别对左拳头、右拳头、双拳和双脚的单个准确率达到95.3%、93.3%、93.6%、96%，采用十倍交叉验证进行验证。研究人员表示，他们的研究成果与最先进的MI分类方法的结果相比，总体分类增加了14.4%。研究者为验证方法的有效性，加入了4个新的受试者进行验证，发现总体平均准确率为92.5%。此外，全局分类器适应单一对象，整体平均准确率提高到94.54%。研究者表示，他们提出的结合scout ESI和CNN的方法，提高了脑电解码四类MI任务的BCI性能。
系统框架
图1 系统框架图
系统框架如图1所示。原始数据来自国际10-10系统的64个电极(不包括Nz、F9、F10、FT9、FT10、A1、A2、TP9、TP10、P9和P10电极)，并以每秒160个样本的速度采集。
根据国际10-10系统从64个通道采集原始脑电图，并使用BCI2000系统进行记录。记录的数据被分为四个独立MI任务包括左拳MI,右拳MI,双拳MI和双脚MI。首先，由于ERD在执行运动想象时在alpha和beta中不同，因此使用FIR滤波器对EEG进行了8 Hz至30 Hz的带通滤波。然后，通过计算包含正问题和逆问题的源，将传感器空间的活动转化为源空间的活动。接下来，创建scout并提取特征。
研究者在运动皮层中创建了10个scout，因为我们只关心与运动相关的活动。十个scout中的每一个都代表了可用源空间中的一个感兴趣的区域(ROI)，并且是定义在皮层表面或头部体积上的偶极子的子集。左脑的scout称为L1、L2、L3、L4、L5，右脑的scout称为R1、R2、R3、R4、R5。利用JTFA从10个scout的源时间序列中提取特征。最后，利用CNN对时频图进行分离并进行分类。
实验
在实验中，研究人员仅使用了随机选择的十个受试者的MI trail (S5，S6，S7，S8，S9，S10，S11，S12，S13，S14)。这里用于分析的数据集包含每个受试者84次试验，每一类包含21次试验。在记录64通道脑电图时，受试者执行了不同的运动想象任务。
每个受试者针对以下四个任务中的每一个执行了3轮21试验：
当目标出现在屏幕左侧时，受试者想象打开和合上相应的拳头，直到目标消失。然后受试者放松。
当目标出现在屏幕的右侧时，受试者想象打开和合上相应的拳头，直到目标消失。然后受试者放松。
当目标出现在屏幕顶部时，受试者想象打开和合上双手的拳头，直到目标消失。然后受试者放松。
当目标出现在屏幕底部时，目标会想象双脚张开和合拢，直到目标消失。然后受试者放松。
为了统一数据维数，研究者选择了4s的数据，因为每次想象任务的执行时间都在4s左右。此外，脑电图任务是分开的，研究人员在实验中将左拳，右拳，双拳和双脚MI任务分别称为T1，T2，T3和T4。
图2 scout命名
左右运动想象的scout分别命名为L1、L2、L3、L4、L5、R1、R2、R3、R4、R5，如图2所示。10个scout每一个都被扩展到40个顶点，每个顶点只有一个源。L1区域对应40个信号，其他scout也一样。在计算了来源后，研究者在运动皮层中创建了十个scout，如图3所示。
图3 创建10个scout
使用ESI计算十个受试者(S5、S6、S7、S8、S9、S10、S11、S12、S13、S14)每次试验的四个任务(T1、T2、T3、T4)的源。对于这四项任务中的每一项，每个受试者每次都要进行7次测试(#1，#2，#3，#4，#5，#6，#7)。展示了第一个步的10个被试的10个scout的4项任务的来源。然后提取10个scout的时间序列进行进一步分析。
特征提取
在计算源之后，研究人员在运动皮层中创建了包含40个源的10个scout，并提取了scout的时间序列。如图4所示为提取R5 scout时间序列作为示例。图的右边显示了R5 scout的时间序列。本文利用小波变换从scout时间序列中提取特征。
图4 提取R5 scout时间序列作为示例
在这项研究中，研究者提出利用CNN来解决运动想象任务分类的问题。该模型基于Schirrmeister等提出的Deep ConvNet架构，该网络模型由一个六层卷积网络组成，其中两个最大池层和三个全连接层，如图5所示。
图5
对于Physionet数据库，研究者首先采用Deep ConvNet架构，包括四个卷积层、四个最大池层和一个全连接层。在实验中，研究者依据经验使用两个最大池化层。并尝试了不同数量的卷积层和完全连接层。
时频图
利用Morlet小波方法得到了scout的特征。对于每个任务，R5 scout的时频图如图6所示。包含时间和频率互补的时频分析方法提供了时域和频域的联合分布信息，清晰地描述了信号频率与时间的关系。
图6 R5 scout的时频图
显然，只有部分时频映射是红色的，表明每个任务只对特定的频率和时间敏感。由于图的数量比较大，研究者使用CNN来选择和学习这些图中最基本的特征。
研究人员随机选择了几个样本，并将一些特征图可视化，作为MI任务的学习表示，如图7所示。
图7
为了获得有效的结果，将数据集分为90％作为训练集，其余10％作为测试集。首先，将十个受试者的数据集（总共19320个样本）分为17388个样本以训练所提出的CNN模型，以及1932个样本以验证模型的有效性。在实验中，研究者还选择了另外四个受试者的数据集以增加数据集的规模(27048个样本)，其中24343个样本是训练集，其他样本是测试集。
在选定的scout上对所提出的CNN架构进行了十次训练和测试，以验证所提出模型的鲁棒性。图8(a)显示了10个scout中每个的全局平均精度。
图8 统计结果
R5的全局平均精度最高，达到94.5%，而L2的全局平均精度最低，为91.3%。对应L1、L3、L4、L5、R1、R2、R3、R4的整体准确率分别为92.4%、92.5%、93.6%、91.9%、93.0%、91.8%、92.1%、92.6%。所有scout的总体精度均在91%以上，标准差均在0.20%以下。图8(b)显示了十个scout中每个scout四个MI任务的组级统计结果及其标准差。一般来说，R5表现的要比其他的好，而L2在迭代2000中表现最差。标准差较小，说明这些精度更接近平均值且稳定。
图9 统计结果
图9(a)显示了带有标准差的混淆矩阵，说明了group level分类结果。T1、T2、T3和T4的全局平均精度峰值分别为95.3%、93.3%、93.6%和96.0%。R5 scout的四个MI任务中的每一个都如图9(b)所示。通过改变训练集和测试集顺序的10次试验，确定了scoutR5的性能，结果如图10(a)和(b)所示。在10次试验中，scout R5的T1、T2、T3、T4的平均准确率分别为93.3%、93.8%、94.2%、94.1%。换句话说，四个任务中每一个的平均准确率都超过了93%。全局平均准确率为93.7%。10次试验结果表明，该方法对scout R5的分类效果较好。从以上结果可以清楚地看出，R5 scout在四种MI任务的分类中扮演着最重要的角色。因此，选择R5对四个MI任务进行分类。
图 10
图11. (a)是不同模型的全局平均准确性的比较。可以发现，该研究提出的模型可以达到最大的精度。从图11. (b)不同模型的ROC曲线可以看出提出的模型比其他模型表现更好。(c)不同模型T1上的精度比较。(d)不同模型T2的精度比较。(e)不同模型T3的精度比较。(f)不同型号T4的精度比较。
图11 不同模型的精度比较
结论
东北电力大学研究团队开发并实现一种结合脑电图源成像(ESI)技术和卷积神经网络(CNN)的新方法。该方法可以对运动想象(MI)任务进行分类。实验结果表明，他们的研究成果与最先进的MI分类方法的结果相比，总体分类增加了14.4%。研究者加入了4个新的受试者进行验证来验证方法的有效性。研究者表示，他们提出的结合scout ESI和CNN的方法，提高了脑电解码四类MI任务的BCI性能。
论文信息：
A novel approach of decoding EEG four-class motor imagery tasks via scout ESI and CNN