新提出的框架与wav2vec2.0非常相似,其中任意的EEG片段被编码为一个被称为BENDR (受 BERT 启发的神经数据表示)的学习特征向量序列。转换编码器将 BENDR 映射到包含目标下游任务有价值特征的新序列。对于每个下游任务,使用传统的全监督训练(以一种留一/多主题的方式,见表1)来训练模型架构的六种不同排列。这里指出的是所使用的总体架构的一部分(参见图1),以及训练前模型权重如何用于四向分类任务(其中有四个圆圈的矩形)。四个任务(左半部分)利用了模型权重,它们首先通过预训练开发的模型权重。这里所有的黄色模块都表示随机初始化的权重。颜色强度的变化(从训练前到训练后)表示进一步的训练,而增加的条形图表示在该训练阶段保持不变的权重,如下图。研究人员提出,自监督序列学习可能是一种在 BCI 中开发和部署更复杂 DNN 的有效方法,因为该方法在使用未标记数据的条件下,从更多人和任务中学习的能力将能够更好地建模 EEG 数据输入分布,同时学习具有减少可变性的特征。该团队在该框架内开发了一个预训练模型,该模型可以对不同硬件、跨不同受试者和下游任务记录的原始 EEG 序列进行建模,并提出这种方法可以生成适合大量未标记 EEF 数据和下游 BCI 应用程序的表征。参考信息:Kostas D , Aroca-Ouellette S , Rudzicz F . BENDR: using transformers and a contrastive self-supervised learning task to learn from massive amounts of EEG data[J]. 2021.https://arxiv.org/pdf/2101.12037.pdfhttps://syncedreview.com/2021/02/22/bendr-for-bci-utorontos-bert-inspired-dnn-training-approach-learns-from-unlabelled-eeg-data/