脑机接口又一奇迹!瘫痪患者用意念写字,打字速度和你玩手机有得拼

最新一期的《自然》封面展示了一排歪歪扭扭的英文字母。这些字母的来历相当特殊——一位脖子以下瘫痪的患者借助最新的脑机接口技术,写下了这些文字。只需在脑中想象写下字母的过程,神经算法就能复现自己所想的文字,并且最后转化成打字的速度可能比你还快。

撰文丨杨心舟

“脑机接口”的概念在最近几年逐渐走进了公众的视野,一部分要归功于马斯克为自己旗下的脑机接口公司Neuralink所作的宣传。他们展示的那些画面令很多观众都印象深刻,例如去年他在发布会上用三只小猪展示了新一代脑机接口技术,研究者只需将一枚尺寸极小的芯片植入大脑,就能实时记录猪的脑电信号。当饲养员给小猪喂食,它的一部分神经元就能发出脑电信号,预示着这是小猪大脑响应喂食的脑电模式。

图片来源:Neuralink

而通过连接计算机和算法分析,研究者就能根据脑电模式来推测使用对象的意图。这也是脑机接口的主力发展方向:为那些肢体无法完成意图的人,实现脑中所想。当然,马斯克有时在宣传时也会用力过度,提出一些类似心灵感应、永生等比较玄幻的概念。这一点在脑机接口创始人之一米格尔·尼可拉斯(Miguel Nicolelis)看来,就属于不靠谱的地方了。

在他眼中,脑机接口创立的目的是帮助那些脑部受到损伤、用常规方法已经无法治愈的人们,实现一定程度的功能。他曾给下半身瘫痪的巴西少年设计了一款以脑机接口为基础的机械外骨骼,经过持久的训练,脑机接口便能根据少年的脑电信号预测他的运动意图,并推动外骨骼运动,这也让他在巴西世界杯开幕式上踢动了足球。

《环球科学》也曾对该类型的脑机接口有过多次报道,更多阅读:

科幻已经成为现实,机械外骨骼让瘫痪患者再次行走
脑机接口的时代:用意念操控机器

重建联系

除了帮助人行走,脑机接口还能帮到一些连最基本的语言表达都存在问题的病人。许多闭锁综合征或渐冻症患者几乎所有的自主控制肌肉都已经瘫痪,他们因此无法发声,有的仅能靠眼球移动来交流。更残酷的是,他们的意识没有问题,只是被困在了一副不能移动、不能发声的躯壳里。

如何让他们重建与世界的联系?目前有一些眼球追踪的设备,在屏幕提供一个键盘的条件下,通过计算机识别瞳孔注视的位置,就能确定使用者想选取的字符。这种技术能让瘫痪患者每分钟输入45个字符,而正常人打字的字符数在每分钟115个左右。不过,这种技术对于眼球无法移动的人就派不上用场了。

图片来源:microsoft

而更普适的技术则非脑机接口莫属了。最早在2017年,霍华德·休斯医学研究所和斯坦福大学的联合团队就招募了3名四肢瘫痪的志愿者,并在他们的运动皮层上植入了脑机接口。这些志愿者需要想象使用手臂或手移动光标,利用计算机记录此刻的脑电信号并进行分析处理。这样,他们就能自如地在屏幕上移动光标,选取想要的字符。在当时,志愿者的测试结果大约是每分钟打40个字符。

如果说当年的技术让他们实现了打字,那么时隔4年,这一技术已经进步到了让瘫痪患者写字的水平。《自然》今日发表的论文就展示了一种全新的脑机接口,瘫痪患者仅凭意念就能在屏幕上书写字符。

这次参与实验展示的是4年前那项研究的志愿者之一,被称作T5,他因为脊髓受伤颈部以下都已经瘫痪。在此次新研究中,他大脑控制右手和右臂运动的脑区被植入了两片微小的电极,大小和阿司匹林相当。

实验中使用的电极大小。图片来源:BrainGate.org

T5要做的就是在大脑中想象自己在写字,此时电极会接收神经元发出的信号,并传输到计算机中。研究者首先需要验证的就是,这么多年没有握笔写字,大脑的神经活动信号是否还能表征写字过程。

我们知道,英文的每个字符形状不一,书写的方式和速度也因此具有差异。于是作者比对了虚拟笔尖的运行速度与神经活性,并引入了非线性降维方法(t-SNE)对每个试验的神经活动进行二维可视化。这种方法能清晰地展示每一个字符的神经活动簇,以及运动编码过程。根据预测,研究者根据神经活动判断字符的准确率有 94.1%。

图片来源:霍华德休斯医学研究所

这一结果说明,大脑没有忘记写字,它们可以正确地表征字符信息。

下一步,需要的就是让算法破解这些信息,还原出真实场景下T5所写的不同字符拼凑的长句子。研究者引入了循环神经网络(RNN)来完成这一任务,RNN需要做的就是将神经活动转化成描述字符的概率。

T5需要完成的字符包括26个小写字母和逗号、问号等符号。每当T5尝试自己写出一个句子时,计算机就会实时收集神经活动数据并用来训练RNN。T5花了大概5天时间在头脑中想象书写,每天需要临摹系统给出的7~10个句子,最终形成了7.6个小时,3.1万多个字符的数据集。

RNN学会与字符相关的神经活动,并在训练后对被试所想的字符进行预测。图片来源:https://doi.org/10.1038/d41586-021-00776-8

在这一过程中,RNN将逐渐“学会”区分不同字母对应的脑电信号。除了这些数据训练,RNN还要额外接受自己从未接触过的句子,以此来评估它的表现。

和正常人一样

经过这些训练,RNN的表现究竟如何呢?在实际测试中,T5会根据屏幕提示中重写每个句子,算法会将自己破解的字符同步地展示在屏幕上。通过这种方式,T5每分钟能大约打出18个词,也就是90个字符。而4名志愿者玩手机打字的速度在每分钟115个字符左右。即使是自由回答问题,T5的输入也能达到每分钟15个词(约73.8个字符)。这比4年的技术翻了1倍。

T5正在用意念写字,算法将他所想展示在屏幕上,有点类似手写输入法。图片截取自视频。(视频来源:霍华德休斯医学研究所)
(0)

相关推荐