根据大脑活动来重建大脑所感知的图像

多伦多大学斯卡伯勒分校(University of Toronto Scarborough)的神经科学家开发了一项新技术，可以根据脑电图(EEG)收集的大脑活动，重建人们所感知的图像。

该项技术由该校助理教授Adrian Nestor实验室的研究人员Dan Nemrodov开发，能够基于脑电图(EEG)数据以数字方式重建测试对象所看到的图像。

Nemrodov表示，“当我们看到某个物品时，我们的大脑会产生一种心理感知，这本质上是对事物的一种心理印象。我们能够利用脑电图捕捉到这种感觉，从而直接说明在此过程中大脑中发生了什么。”

通过(A)左半球电极(P5, P7, P9, PO3, PO7，和O1)和(B)右半球电极(P6, P8, P10, PO4, PO8，和O2)对54个面部的总平均 ERP 。头图显示 (A) N170 (B) P1、N250 处的电压分布。

从基于脑电图的人脸空间结构中提取CIMs的例子，用于(A)中立和(B)快乐面孔。

在这项研究中，研究人员将受试者连接到EEG设备上，向他们展示面部图像。他们的大脑活动被记录下来，然后使用基于机器学习算法的技术在受试者的脑海中以数字方式重建图像。

这不是研究人员第一次能够使用神经成像技术和基于视觉刺激重建图像。当前的方法是由 Nestor 开创的，他在过去成功地从功能磁共振成像 (fMRI) 数据中重建了面部图像，但这是首次使用 EEG来做这方面任务。

虽然像 fMRI 这样的技术——通过检测血流变化来测量大脑活动——可以捕捉大脑特定区域发生的事情的详细细节，但 EEG 具有更大的实用潜力，因为它更常见、便携且价格低廉。Nemrodov 解释说，EEG 还具有更高的时间分辨率，这意味着它可以详细测量感知在时间上是如何发展的，精确到毫秒。

研究人员表示，“fMRI 以秒为单位捕捉活动，而 EEG 以毫秒为单位捕捉活动。因此，我们可以使用EEG非常详细地了解我们大脑对面孔的感知是如何发展的。” 事实上，研究人员估计，我们的大脑需要大约170毫秒(0.17秒)才能形成我们所看到的面孔的良好表征。

这项研究证实了 EEG 具有用于此类图像重建的潜力。

如下图所示，在基于组数据的连续10毫秒窗口中，中性和快乐的人脸图像的重建结果。A，在两个不同时间的脸部刺激及其相应的重建的例子(左上角的数字表明基于图像的重建精度估计)。B、重建精度的时间过程。中性面孔和快乐面孔在多个时间间隔内均表现出高于随机的辨别；阴影区域表示中性面孔优于随机区分的间隔)。在N170分量(图1)和模式分类发现的识别峰(图2)附近，重构精度最大。

Nemrodov指出，这项研究证实了脑电图在这种类型的图像重建方面的潜力，许多研究人员怀疑，鉴于其明显的局限性，这是可能的。从神经技术的角度来看，利用脑电图数据进行图像重建具有很大的理论和实践潜力，特别是因为它相对便宜和便携。

目前，Nestor的实验室正在进行的工作是测试如何利用记忆完成基于脑电图数据的图像重建，并将其应用于除人脸以外的更广泛的对象，最终也可能有广泛的临床应用。

研究人员表示，“它可以为无法进行语言交流的人提供一种交流方式。它不仅可以对一个人正在感知的东西进行神经重建，还可以对他们的记忆和想象，以及他们想要表达的东西进行重建。”

“真正令人兴奋的是，我们重建的不是正方形和三角形，而是人脸的真实图像，这涉及许多细粒度的视觉细节。”

“事实上，我们可以根据人们的大脑活动重建他们的视觉体验，这为很多可能性打开了大门。它揭示了我们思想的主观内容，并提供了一种途径来访问、探索和分享我们的感知、记忆和想象的内容。”

相关信息：

Dan Nemrodov, Matthias Niemeier, Ashutosh Patel, Adrian Nestor. The Neural Dynamics of Facial Identity Processing: insights from EEG-Based Pattern Analysis and Image Reconstruction. eneuro, 2018; ENEURO.0358-17.2018

DOI: 10.1523/ENEURO.0358-17.2018

https://www.sciencedaily.com/releases/2018/02/180222145037.htm

编辑：Tina

排版：羽化

文章仅用于学术交流，不用于商业行为，