洪波：解读大脑的密码，未来把思维变成语音
洪波：清华大学医学院教授，博士生导师
大脑的终极能量有多大？霍金或者中国的王甲这样神经渐冻症的病人，是什么能让他们能够把思维变成语音，通过计算机合成出来。大脑编码后，装入我们的智能眼镜、智能手机，也许未来的世界，就将因此而改变。
其实今天在这间屋子里边，最忙碌的不是这些灯光、机器和我们的工作人员，是我们每一位的大脑，更准确的说是你们大脑里边一百多亿个神经细胞，因为只有它们忙碌的工作，才让你理解这些声音和图像，包括我的讲话。我今天跟大家分享的旅程，就是我的实验室，包括我的同学们，如何去探索大脑是怎么理解这些信息的。
举一个最简单的例子，听到这样的声音大家很快猜到，它是摩尔斯码，这句话的意思是“Hello from my brain”。如果你知道这张图，你很容易就能猜出这句话，当然所有的通讯兵就是靠这样的办法来沟通的。再给大家听一段声音，可能很少有人听懂，这是我的研究生们，在实验室里面用微电极，在一个老鼠大脑的神经上面记录的声音，但不是声音，是一个波形。我们用声音的方式放出来让大家听，但是你不知道这只老鼠在干什么，实际上它什么也没做，只是躺在那里。
那么，究竟我们的大脑是怎么表示大千世界复杂的信息呢？这是一个非常难回答的问题，但是，也是一个非常精彩的科学的领域。这些绿色的斑点实际上是我们通过荧光显微镜拍到的一只老鼠的大脑神经细胞的一个非常小的局部，在我们大脑中有一百多亿个这样的神经细胞，更重要的是它们之间的连接更加丰富，还要是一千倍。再看看下面这个，这是每一个细胞此时此刻都在用这样的速度传播编码的大千世界的信息，所以你可以想象大脑的复杂性是怎样的规模。
人类总是非常勇敢，希望在搞清楚大脑如何编码信息的秘密之前，就可以帮助人类，特别是帮助那些需要的人们做一些有意义的事情。比如说能不能帮那些残疾人解读他们脑电波，用这些解读出来的信息去操控计算机、轮椅、电话等东西，让他们的生活质量得到提高，这就是脑机接口的概念。也许有一天，我们的脑机接口技术可以帮助高位截瘫的病人，他们坐在轮椅上，他们的大脑是好的，跟我们正常人一样，能不能获取他们脑电波的信号，把这些信号输入到计算机里翻译成轮椅向前向后向左向右这样的控制命令。把这些信号输入到计算机里翻译成轮椅向前向后向左向右这样的控制命令。我想这一天一定会来到的，我们正在朝着这个方向努力。
给大家讲几个故事，在国际上，今天现在，我的同行们也在努力的找到这个问题的答案，这里面有一只猴子和两个勇敢的病人，首先说这只聪明的猴子。你看它不是用自己的手在抓取食物，而是在控制一个机械手，更神奇的是它是用自己的大脑的脑信号来控制这支机械手。那么怎么实现呢？是因为神经科学家搞清楚了我们的大脑运动皮层每一个神经细胞实际上都喜欢一个方向。比如说甲细胞喜欢这个方向，乙细胞喜欢这个方向，一百一千个细胞他们协同工作通过投票的方式，他们投票的方式是通过声音的大小、通过发放一秒钟十次还是一百次这样的方式，这些一百个一千个神经细胞他们投票决定的方向就是像我们手的指向方向，实际上是我们大脑里一千个细胞共同决定的。知道这样一个简单的规律以后，我们就有办法，通过记录猴子大脑的神经活动来操控一个机械手。
第一位勇敢的病人是这位叫马修的病人，因为外伤他从脊髓以下没有任何运动，唯一的办法是解读他的大脑信号，但是在那个时候只能打开他的大脑，植入这样一个非常小的4乘4毫米的一个电极，这上面有96个电极。每一个电极都能获取几个神经细胞的放电，我们通过计算机的方法，把这些放电解读出来，就能够让马修能够控制计算机的上的光标，甚至他可以靠自己的脑力来玩游戏。
第二位勇敢的病人，是2002年，她做了这样我想是世界上脑机接口领域里面的最伟大的一次试验，是因为她因为中风，她不能控制自己的肢体已经有11年了，但是她选择和科学家合作，在自己的大脑里面植入了这样一个微电极的阵列，这个阵列帮助她控制这个机械臂，这个蓝色的机械臂，做什么事情呢？就像刚才那只猴子一样能够抓住一瓶咖啡，送到自己的嘴边。最后这张画面非常的温馨，她很幸福的喝到了第一次自己给自己倒的咖啡。这样的故事还很多。但是很遗憾的事情是，我们全世界的科学家大概做了8-10位这样的通过植入电极的方式，帮助这些病人和世界交互，但是这个电极植入进去之后，有的短的一个月，长的大概半年以后，神经胶质细胞就会把电极包裹起来，电极和神经细胞之间就形成了一个薄薄的阻隔的一层，这一层会使你的神经信号采集不到，这种情况如果发生的话，我们只能做手术把电极拿出来，对病人来讲是非常大的痛苦，有没有更好的办法，能够通过创伤更小，甚至不用打开大脑做手术，我们就可以帮助那些残疾人和世界更好的交互。
这就是我们大概在十年前开始的一项研究，我们希望是不是给我们的残疾人戴上一个脑电帽子，这个帽子就像你在医院里做一个脑电检查一样的，看起来不是很漂亮的帽子，但它很神奇，它可以在大脑的外部获取神经细胞活动的记录。这就打个比方，如果我把麦克风放到这间会场里面每个人的身边，这就像微电极的记录，而我站在门外去听这个会场里发生了什么。一些声音，也能猜到这里面大概发生了什么，特别是大家鼓掌的时候，这个信息是非常微弱的，但是也能反应我们大脑的状况，能不能用这些微弱的信号帮助人们去做一些非常有趣的事情。比如说这是在2006年的夏天，那个时候正好是德国的世界杯，我和我的学生们决定做一件非常有趣的事情，我们想到我们能不能用脑电波来控制这两只机械狗，让他们踢一场有趣的比赛，一只狗是守门员，一只是进攻的队员，分别由这位女生和那位男孩子控制。他们脑袋上都有一个电极帽，当然没有任何创伤，带上就可以用，我们看看这个比赛是怎么样子的。这两只小狗他们不是自己带动，完全是我们这两位学生用他们的脑电波在控制，其实它们只能有三个方向的运动，就是左、右和前，那时候已经是世界上最好的水平，我们知道实时的三个方向的控制，这个信号来自这个看起来非常奇怪的电极帽，但是那时候我们就想能不能把电极帽做得更简单，刚才那个女孩子的电极帽就只有三个电极。背后的道理是什么？事实上我们身体的每一个部位在大脑里面都有一个区域主管，比如当我动我的右手的时候，或者只是想一想我的右手动的时候，在我的大脑的左半边就会有一个非常强烈的电活动，如果那里恰好有一个电极的话我就可以采集到，通过计算机分析就会告诉你，你现在是想动你的右手。甚至你只是想一想我想让这只小狗往右走，你就可以从大脑的左边采到这样的信号，这就是脑机接口的简单道理。当然背后有很多的工程的实现，比如信号的处理，去除噪声，包括无线信号的传递。
我们做这些研究最终不仅仅是在实验室里开展这么一场有趣的比赛，这里有很多病人在等着这样的一个新的技术，能够变成现实的应用和产品。
大家可能看过一个电影叫做潜水钟与蝴蝶，它的主人公是有一个杂志叫做ELLE，就叫《时尚之苑》。他的主编因为中风之后，失去了所有的身体上的肌肉控制，只有她的右眼的眼皮可以眨一眨，她的生活发生了巨大的变化，她希望把这种变化包括她自己的心理感受留给后人，于是她用眨眼睛的方式写了一本书，这本书的名字就叫《潜水钟与蝴蝶》，潜水钟说的是她自己就像被困在潜水钟里不能够和世界交流，蝴蝶说的是自由的思想。那么有没有一个方法，帮助这样的病人，不是通过眨眼睛，而是通过她的脑电波来完成一本书。我们发现，事实上你注意，比如我给你念一下ABCD的字母，当你注意其中一个字母的时候，你的脑电和不注意的时候有非常大的差别。这让我想起一个扑克牌的游戏，我给你10张牌，你随便选一张，然后把它插回去以后，我能猜到你选的是哪一张。大家可能知道一个最简单的做法是你把这张牌插回去的时候，倒过来差，对吧？ 实际上你在这张牌上做了一个标记，那么我们设计这样一个脑机结合的道理是一样的。我让病人听到这个字母表里面的声音或者是1234的选择，当时当他听到自己要的那个选项的时候他用自己的脑电在上面做标记，我可以通过计算机解读的方式知道原来他是想说我饿了。
我们看看下面这个视频的例子，通过很多的努力，我们实现了这样一个，帮助这类残疾人的脑机接口系统，他只需要戴一个耳机，耳机后面有几个电极，这些电极可以探测到他究竟对放给他的哪个声音感兴趣，比如他觉得饿了、冷了，或者他想喝点什么、坐起来等等，他要做的只是当这个目标出现的时候说一个是，只要默说就行了，这个是的肯定的动作，内心肯定的动作就是在他的脑电波里反映出来，我们就可以探测到他究竟要做什么。当然如果这个系统足够的快，我们可以帮助他打字或者写书。
这是我们最近做的一个更快的系统，我们希望可以像键盘打字一样，这样一个虚拟的键盘，看起来很奇怪，实际上，它的工作原理也很简单。比如你想输入字母C，你只要注意C就可以了，这些神秘的移动的小的光斑，这些光斑就会在你的大脑里就会留下记号，这个记号我们可以通过脑电波解读出来。蓝色的是你注意的那些字母的响应，红色的是你不注意的字母的响应，大家一看就知道这个区别非常大，通过计算机的帮助就可以解读出来哪个字母是你要选择的。而且我要告诉大家，这些位置就在你的视觉皮层和运动皮层之间的一个区域，红色和蓝色的区域，这是用这些信息提取和处理的办法，我和我的学生们未来可能帮助残疾人。今天在我们实验室可以演示这样和那样的脑机接口交互系统。这是最新的一个视频，我们希望通过脑电波能够实现一个谷歌的搜索，比如我输入BCI这三个字母，能不能只靠脑电先选出这三个字母，然后再控制浏览器选到我想要的选项，实际上证明是可以做到的，虽然这个速度还不是很快，大概五到十秒可以做一个字母的选择。
最近我们开始和临床医生的合作越来越多，在临床上有一种癫痫的疗法，癫痫病人如果吃药不管用的话，唯一的希望是能够通过手术把癫痫发病的地方去掉。这个手术听起来很残酷，但事实上它是非常精巧的外科手术，需要定出这个癫痫处究竟在哪里但是又不能把你语音和运动这些功能破坏掉，我们跟医生合作帮助他发现癫痫在哪儿，这些重要的重要的功能区在哪儿。这是我们真实的在病人的大脑里面，通过这样的两边电极的阵列提取到的信号，可以看到里面有非常丰富的时间和频率的信息，你可以像在看一部电影一样，这是当病人重复3这个数字的时候，他的大脑活动是怎么样的。通过这样的机会，我们在测试，是不是可能在通过和外科医生合作，只用一个很小的微创的手术，就可以帮助那些残疾人做一个非常高效的打字的系统，用他的思维可以去输入，像我们一样去发微信，去发微博。这个实验更有趣，我们很有幸有一个病人他的电极恰好覆盖在语言区域，那么我们给病人听许地山的《落花生》这篇散文，下面是三个电极神经细胞的反应，你如果仔细观察的话，你会发现第一个电极最喜欢“说”这个音，而第二个电极喜欢所有的后鼻音，这是世界上第一次在人的大脑里面观察到汉语的声母和韵母究竟是怎么表示的，我们通过不断的努力可以构建出一个完整的图谱去表现出大脑是怎么表现这些语音的。
未来的希望终于有一天我们会通过这样的脑机交互的系统帮助霍金或者中国的王甲这样神经渐冻症的病人，他们能够把思维变成语音，通过计算机合成出来。也许更有可能，我们知道更多的关于大脑编码信息的秘密，我们能够把这些大脑如何处理声音、图像和语音的办法，装入我们的智能眼镜，装入我们的智能手机。其实我们在座的诸位可能每个人的智能手机都有语音识别的功能，但是大家可能都不怎么用，因为它现在还不靠谱，希望有一天通过学习我们大脑编码信息的算法和能力，让我们的智能眼镜和手机造福于每一个用户，让我们的生活更加亲切、友好。
也许探索大脑密码的过程是一个永无止境的过程，就像我们去了解物质的本源，宇宙的起源一样，是一个不断的追求，但是我有信心，这一定会是一个充满新奇和发现快乐的旅程。
【以往相关视频，请点击图片观看】
【CC讲坛】刘雳宇：流体力学与3D医疗
【CC讲坛】李子青：解密刷脸与生物特征识别
【CC讲坛】廖洪恩：裸眼3D呈现未来
【CC讲坛】谢灿：破译生物导航之谜