脑机接口--用于将音乐与思想进行合成
更多技术干货第一时间送达
神经接口代表了科学研究领域中一个越来越热门的话题:当前我们对脑机接口的认知是医学应用和人体增强的新领域,这在残疾人辅助技术领域中非常重要。而实际上,脑机接口(BCI)是一种工具,它无需用户任何随意的肌肉控制即可与周围环境进行交互和通信。正是由于这个原因,BCI通常用作患有严重残疾的人的辅助设备,这些人由于脑损伤,脊髓损伤或神经运动退化而无法通过通常可用的通道进行交流。
几十年来,研究人员一直在尝试使用人机接口,让重度残疾患者仅使用大脑进行交流。近年来,BCI技术得到了长足的发展,它使残疾人能够书写消息,发送电子邮件,上网,控制智能家居,甚至驾驶电动轮椅。
科学家考虑患有神经退行性疾病,比如肌萎缩性脊髓侧索硬化症(ALS,amyotrophic lateral sclerosis,简称ALS)的患者:患者处在这样的状态下,即他仍然能够思考,做梦,感知情感,但无法表达情感。早在2010年,德国的一个研究小组就使用BCI测试了ALS患者的首个大脑画像,从而释放了瘫痪患者的创造力。近些年,一些重要的创新已经到来,能够扩大BCI技术的艺术潜力:奥地利的神经工程师团队设计了一个特殊的脑机接口,该接口允许患有ALS的瘫痪者仅使用思想的力量来创作音乐。这是第一个完全由大脑控制的音乐创作程序。
这项研究由奥地利格拉茨大学神经工程研究所(NeuralEngineering Institute of the University of Graz)所长GernotMüeller-Putz领导的一个科学家小组完成的,并发表在Plos One杂志上。科学家利用基于视觉刺激的大脑产生的P300信号,设计了由EEG采集系统和作曲软件组成的大脑作曲系统。
该团队采用了在该领域广为人知的P300信号模型,并将其应用于各种脑机接口应用(如环境控制器、web浏览器或思维绘画算法),以适应音乐创作。借助无凝胶生物信号采集系统,该团队记录了信号,然后利用通用的基于P300的控制系统进行处理。
任务图
第一行:任务1是使用基于P300的BCI复制ªmusikº和ªlisztº。
第二行:参与者必须复制并撰写儿童歌曲《 Alouette》的前六个小节。
第三行:任务2是手动操作,即通过单击鼠标来复制并组成Alouette的旋律。第四行:任务3是使用基于P300的BCI复制Alouette的旋律。
第五行:任务4是自由创作30分钟。
研究人员从满意度,娱乐性,挫败感和吸引力等方面研究了效率,有效性和主观标准,并对17名参与者的结果进行了评估。这些参与均都能演奏乐器,而且都是专业作曲家。参与者按照有关正确使用该应用程序的指令,然后使用该系统进行写作、作曲和自由作曲的临摹,并“思考”乐谱上的旋律。
研究结果表明:该项研究具有较高的平均精度:88.24%(写作临摹),88.58%(作曲临摹)和76.51%(自由作曲)。专业的作曲家已经克服了这些困难:100%(写作临摹),93.62%(作曲临摹)和98.20%(自由作曲)。对标准的主观评估表明,用户对该应用程序非常满意。
这项研究是迈向构成系统的第一步,该系统可作为娱乐手段,最重要的是为重度残疾人士提供表达的手段。
正如Müeller-Putz所声称的,长期目标是从基于笔记本电脑的界面过渡到更小的界面,以便可以由智能手机支持:最好的方法是将一种特殊的系统带入音乐家的家中,使他们能够与世界分享他们的音乐创作。
论文信息:
Composing only by thought: Novel application of the P300 brain-computer interface