为了具有足够的灵活性进行适应性行为，生物体必须认识到对物理刺激的即时反应。为此，人类使用视觉心理想象从记忆中唤起生动的内部体验的能力，代表了对刺激的感知。视觉想象的内容主观上模仿了感知的内容，这表明想象和感知具有共同的神经机制。通过对人类脑电图（EEG）数据的多元模式分析（MVPA)，我们比较了心理想象和物体感知的振荡时间进程。我们发现，想象和感知之间共享的表征形式出现在alpha频段。这些表征存在于后部电极中，但不存在于前电极中，表明这一活动源于顶枕皮质。使用表征相似性分析（RSA， representational similarity analysis）将共享表征与计算模型进行比较，揭示了与在目标表征（而非听觉或语义模型）上训练的深度神经网络的深层之间的关系，这种现象意味着可以将复杂的视觉特征表征当作一种共性的基础。总之，我们的研究结果将alpha振荡识别并表征为视觉心理想象和感知之间共享的皮层标志物。刺激由一组图像和相应德语名称的语音录音组成。该图像集包含12张彩色的常见物体（图1A）。录音是从德国标准词典网站上提取的12个德语口语单词，每个单词对应于一个图像。所有录音的采样率都为44.1kHz，并通过其均方根振幅进行标准化。录音的平均持续时间为554.3毫秒（标准偏差：±17.8毫秒）。
实验由两个相同的session组成，两次实验分别在两天进行。在每个session中，参与者首先完成感知任务（图1B），然后完成心理想象任务（图1C）。实验刺激使用Psychtoolbox呈现。在感知任务中，要求参与者观看图像。对于每个trial，在屏幕中央呈现一个500 ms的目标图像（~2.9°视角），上面标有黑色的注视点，提示参与者在目标图像出现时按下按钮并眨眼。试次间间隔（ITI）为300ms，400ms或500ms，在此期间仅呈现注视点。接下来的捕捉（catch）试次中，ITI延长至1000毫秒，以在更大程度上减少试次呈现时的运动伪迹。。在心理想象任务中，让参与者听单词的录音，并要求他们积极想象所听单词。每个trial都先呈现500ms的注视点，随后播放录音。要求参与者在听到录音的2500毫秒后立即对所听对象的进行视觉想象。在想象期后，要求参与者在1500毫秒对屏幕上的两个字母（H与L）进行选择，以表明他们心理图像的生动程度是高（H）还是低(L)。在大多数trial中，参与者的想象生动度很高（83.4％，SD：±0.09），表明从主观上讲，参与者形成了精确心理图像。试次间间隔（ITI）为300ms，400ms或500ms，在此期间仅呈现注视点。使用EASYCAP 64通道系统和Brainvison actiCHamp放大器记录脑电数据。通道根据标准10-10系统排布。采样率为:1000Hz，并对数据进行0.3-100Hz的在线滤波。在线参考电极为Fz。使用Brainstorm进行数据预处理以及独立成分分析，每个参与者删除的成分数在1-4之间。在视觉感知任务中，数据分段范围为：-600ms~1100ms;在心理想象任务中，数据的分段范围为：-600ms~3100ms，在分段后进行基线校正。为了恢复诱发的振荡响应，使用复Morlet小波函数分别对每个trial和每个通道的数据进行卷积。通过将所得的时频系数取平方根，我们获得了每个时间点上5Hz至31Hz之间每个频率的绝对功率值。将这些功率值进行标准化，得出相对于刺激前基线的相对变化（dB）。对数据进行50HZ降采样，并提取theta（5-7Hz），alpha（8-13Hz）和beta（14-31Hz）频段的数据。为了揭示感知和想象之间的共享表征，我们训练了分类器，以将感知任务数据中（感知一个苹果VS感知一辆汽车）的对象对（苹果vs汽车）区分开，并在想象任务中（想象一个苹果VS想象一辆汽车）。在此交叉任务过程中，超乎寻常的分类性能表明，通过想象和感知对象可以唤起类似的表征。分别针对每个频段和每个时间点进行分类，以量化：首先，将每个trial，每个频段和每个时间点的数据展开为单个模式向量。其次，我们将任务中同一物体的不同模式向量进行平均，为每个条件制造4种伪trial。第三，我们使用这些伪trial训练和测试了线性支持向量机（具有线性内核且成本参数为c = 1的C-SVC，使用libsvm软件实现）。
第一届MNE-Python脑电数据处理班（南京，12.7-12）
第二十三届脑电数据处理中级班（重庆，12.16-21）
第十一届脑电数据处理入门班（重庆，1.7-12）
为了研究感知和想象之间共享的alpha表征是否与顶枕alpha或额叶alpha机制相关，我们在脑电图通道中使用电极的前半部或后半部进行了单独的交叉分类分析。前半部分由35个电极组成，分别位于前额，颞叶和中央沟。涵盖了EASYCAP 64通道系统中的Fp，AF，F，FT，T和C通道。后半部分由37个电极组成，覆盖枕骨和顶叶皮层，覆盖C，T，CP，P，TP，PO和O通道。在这两个部分中都包括了中央沟和颞叶通道。作为空间定位的另一项措施，我们检查了从训练分类器获得的所有数据的分类器权重分布。在分类分析期间，为每个特征（即此处的每个EEG电极）分配一个权重，分类权重指示不同电极包含特定类别信息的程度。为了直接比较电极在时间上的权重，我们通过将权重乘以训练数据集的协方差将权重转换为激活模式。我们将重建的激活模式映射到头皮地形图上（图S1X和S1Y）。为了表征想象和感知之间共享表征的性质，我们将表征相似性分析与计算模型结合使用。基本思想是，如果想象和感知之间共享的表征将相同或类似条件视为相同条件，则它们与计算模型中的表征有关。为了确定这一点：1.分别比较特定条件的多元模式中神经（电极的特征向量）和模型（单元激活模式）编码空间的不相似性。通过比较条件将不相似性汇总在按行和列排布的表征差异矩阵（RDM，representational dissimilarity matrices）中。2.通过确定神经RDM和模型RDM的相似性，并进行相关。假设两个条件的激活模式越不相似，则它们的分类就越容易，因此分类精度可以解释为一种不相似性度量。Cluster indexing在想象和感知之间共享表征的每个时间点组合的分类精度（图1F）是所有成对对象组合的交叉分类精度的12 × 12矩阵的平均值。在这里，我们没有对所有组合进行平均，而是针对cluster中每个时间点提取了完整的12 × 12 RDM，并对所有时间点组合中的RDM进行了平均，从而为每个参与者生成了一个RDM。因此，每个参与者的RDM都表明想象和感知之间共享的对象表征形式存在差异。为了表征这些共享表征的性质，我们从一组计算模型中提取了模型RDM。这些模型反映了对象的:（iii）听觉差异（即，用于提示图像的单词声音的差异）作为视觉模型，我们使用经过预训练的19层深度卷积神经网络（DNN）VGG19 。我们通过DNN计算了本研究中使用的12个图像，然后通过量化沿19个层的每一层观察到的响应模式的不相似性来构建特定于层的模型RDM。根据这些结果，我们构建了8个聚合RDM。前五个RDM由卷积层构成，对位于最大池化层之间的卷积层的RDM进行平均，从输入层开始（RDM1：卷积层1,2; RDM2：卷积层3,4; RDM3：卷积层5-8 ；RDM4：卷积层9-12；RDM 5：卷积层13-16）。最后三个RDM（RDM6-8）是在最后由三个全连接层中通过激活构造的。为了量化不同模型与Alpha频带中想象和感知之间共享的表征之间的关联程度，我们将每个模型RDM与每个参与者的神经RDM相关联（Spearman R）。此外，为了确定视觉和听觉模型分别对视觉表征（感知任务）和听觉表征（想象任务）的解释程度，我们将这些模型与从感知和想象内的分类分析中提取的神经RDM进行了比较任务（图S2D和S2E）。此外，我们将在任务内分类的cluster内的所有时间点RDM平均为每个任务的单个神经RDM，然后进行如上所述的表征相似性分析以进行交叉分类分析。
除了根据振荡响应对对象进行分类外，我们还对宽频响应（即单试次原始未滤波波形）进行了常规分类分析。这些分析遵循与时频数据分类分析相同的逻辑，包括在分类分析之前将各个trial平均成伪trial。唯一的区别是，现在仅对分类器进行训练，并测试每个时间点在所有电极上的响应模式（原始采集分辨率为1000 Hz）。关于振荡响应的分类分析，我们执行了time-generalization分析，将感知和想象之间的对象交叉分类（图S1G），而任务内分类分析则分别进行（图S1N）。所有统计分析均在MATLAB中进行。使用未对数据分布做出假设的置换检验，针对机会水平对感兴趣的统计数据进行了测试。零假设是统计量等于机会水平（即分类准确度为50％，Spearman的R为0）。在零假设下，我们可以对EEG数据的条件标签进行置换，这实际上对应于符号置换检验，该检验将参与者特定数据随机乘以+1或-1。对于每个排列样本，我们重新计算了感兴趣的统计量。重复此排列过程10,000次，我们获得了数据的经验分布，这使我们能够将原始统计量（即相关系数，对象分类的时间过程和对象分类的时间-时间矩阵）转换为p值（相关系数），一维（时间过程）或二维（时间-时间矩阵）p值图。我们还将重新计算的统计信息转换为p值或p值映射（依赖于与原始统计信息相同的经验分布）。对于基于分类的分析，我们使用cluster大小推断来控制跨时间点的FWE（Family-wise error rate）。首先将所有p值图的阈值设为p <0.05，以通过其时间连续性定义超阈值cluster。也就是说，如果原始统计量的超阈值cluster的大小超过p<0.05，则报告为显著。此外，对于时频信号的分类，对于分析的频带数，对cluster阈值进行了Bonferroni校正。对于基于相关性的分析，使用FDR进行多重比较校正。即使分别分析想象和感知数据时我们在所有频带都发现了非常强的物体分类性能，想象和感知只会在alpha 频段（图1F）共享神经动力学，但在 theta 或 beta 频段（图S1A–S1C）却不共享。该结果对几种分析选择均具有鲁棒性：1.它与多变量模式分析的特定数据聚合选择的变化无关（图S1D–S1F和S1K–S1M）；它适用于交叉分类分析的两个可能方向（从想象到感知，反之亦然；图S10和S1P）；2.当想象数据在时间上不是对准声音开始而是对准声音偏移时，就可以实现这一点（图S1Q–S1S）；3.当使用参与者特定的 alpha 频率时，它也保持不变（图S1T–S1V）。4.尽管在想象和感知分别进行分析时，宽频（诱发）响应（图S1G）中也包含了鲁棒的物体信息，但在宽频（诱发）响应中没有发现共享的神经动力学（图S1N）。我们的发现增强了以前关于想象和感知之间共享表征的研究，特别是将 alpha 频带中的振荡识别为想象和感知之间共享表征的神经特征。而且，我们的发现超越了先前的工作，表明alpha振荡通过指定alpha振荡在特定视觉内容的编码中的专用作用而在心理想象中发挥作用。我们的发现揭示了共享表征的时间动态。首先，我们发现共享表征在想象中的出现要比在感知中的出现晚。这强化了这样一种观念，即想象和感知在其信息处理动态方面有所不同。但是，在我们的设计中，参与者想象的时间（2500毫秒）比他们感知刺激的（500毫秒）要长，这可能会影响神经动力学。要进一步研究这一观察结果，有必要使用快速与非快速成像任务进行系统研究。进一步的观察是，共享表征在视觉处理的过程中相对较晚地出现。因此，它们不太可能反映在第一前馈通道中速度更快的早期感觉处理。最后，交叉分类分析是在很长一段时间内进行的，表明存在持久性而非暂时性神经动力学。另外，这里观察到的时间也与内侧颞叶的记忆相关回路中视觉处理的神经元潜伏期，以及在检索过程中恢复编码记忆信号的时机相一致。大量研究表明，大脑中的alpha振荡不是单一的而是多种现象的混合，涉及许多认知功能并反映出不同的机制和大脑网络。为了研究想象和感知之间的共享表征是否彼此相关，我们重复了仅限于前或后部电极的分析（图1G）。在alpha带的交叉分类分析表明了后步电极的交叉分类精度很高。对头皮上分类器权重分布的补充分析提供了一致的证据，突出了后部电极与想象和感知方面的分类最相关（图S1X和S1Y）。这进一步支持了这样一种想法，即：想象和感知之间的共享表征与感知功能中牵涉的顶枕alpha振动更密切相关。我们研究发现想象和感知共享表征来自顶枕的alpha频带中，有两个重要意义：首先，阐明了有意识的视觉体验的神经机制。视觉上想象的内容在主观上与感知的内容相似，并且我们的结果表明，alpha振荡在介导这种主观相似性中起作用。其次，我们的发现提高了我们对alpha振荡的一般理解。他们很难与alpha振荡反映抑制无关信息的观点相一致，因为我们发现它们可以编码与记忆和感知相关的任务相关内容。相反，我们的结果与alpha振荡在信息处理中可以发挥积极作用的想法更加吻合。这种观点的最新证据来自对反馈交流，工作记忆和记忆的研究。
视觉DNN的深层包含了物体的整体和局部的高维表征并且可以很好的预测高级视觉皮层的大脑活动。因此，我们的结果表明，alpha波段中想象和感知之间的共享表征是高级视觉皮层中编码的复杂视觉特征的表征。这进一步完善了以下结论：想象和感知之间的共享表征源自大脑后部区域，可能反映了高级腹侧视觉皮层的激活。相比之下，我们没有观察到与DNN浅层的关系，因此我们的结果无法得出有关低级视觉皮层作用的结论。这可能是因为低级视觉皮层可能已通过想象和感知被激活，但是以不同的方式激活，因此未被我们的交叉解码方法捕获。此外，已经有研究观察到想象任务中早期视觉皮层的激活取决于诸如任务和生动度之类的因素，对此我们的设计并未进行优化。需要进一步研究以揭示振荡活动在想象中的作用，同时将这些因素考虑在内。结果表明，观察到的交叉分类不能仅通过空间注意力的影响解释，还可以从alpha频段解码感知或保留在记忆中的刺激的空间位置，这表明：在想象和感知之间对物体进行交叉分类可能反映了空间对感知中特定视觉特征的关注，以及它们在想象过程中在反馈流中的可能位置。但是，此处使用的物体分类DNN中未实现任何注意机制。尽管大多数编码模型研究都收集了较高信噪比的感知信号以进行模型训练，从而允许他们使用大量条件（甚至> 1,000），并在想象任务中以较少数量的条件（5或6）下测试了模型。在这里，我们选择了十二个不同形状，颜色和方向差异很大的日常物品。他们的成对比较得出66个值，这些值提供了大脑动力学的丰富特征。实际上，正是我们相对多样化的刺激方式使我们能够分辨共享表征的不同内容。特别的是：我们发现，在alpha频段中想象和感知之间共享的表征形式与在物体分类上训练的DNN的表征形式相似，为以后的研究提供了一个新思路：fMRI研究，脑磁图和脑电图研究使用基于DNN的编码方法可能能够区分出更多的刺激。总而言之，本研究确定并反映了视觉心理想象和感知之间共享表征的振荡特征。我们发现物体的共享表征形式存在于alpha频带中，它们起源于大脑的后部位置，并且在形式上类似于视觉深层神经网络高层中的表征形式。通过将alpha振荡识别为介导视觉想象和感知之间的主观相似性的神经机制，我们的发现阐明了有意识的现象体验的神经机制。这还进一步加深了我们对大脑震荡的理解，表明alpha频段内的活动通过介导视觉内容在皮层通讯中发挥了积极作用。
