报道 | 侯兴泉教授谈粤语多模态语音数据库建设及相关研究

2020年11月30日10点，由暨南大学汉语方言中心、暨南大学发音语音学实验室主办的第八期汉语方言语音记录与分析研究班系列讲座第十七讲在暨南大学第一文科楼2楼中厅进行，本次讲座采用线上线下的形式进行。此次讲座也是2020“广东省研究生学术论坛/暑期学校”项目组成部分。

侯兴泉教授讲座现场

暨南大学文学院中文系教授，博士研究生导师，暨南大学汉语方言研究中心副主任侯兴泉教授就“粤语多模态语音数据库建设及相关研究”做专题学术讲座，本次讲座由彭志峰老师主持，刘新中教授也出席本次讲座，语言学及相关专业学生到场聆听。

侯兴泉教授首先提出语料库语言学的新趋势是从单模态到多模态，研究者需要对人类的言语行为进行多模态建模以提升机器对人类语言的理解与学习能力，多模态数据库包括文字、语音、手势、表情、情感、生理数据、交际场景等不同元素。

其次，侯教授阐述开展语言的多模态研究的原因，认为语言是一个“复杂的适应系统”。

第三，侯教授介绍了国外两种类型的多模态数据库建设概况。类型一是面向人工智能的多模态数据库，以Dawn Knight和刘剑的论文为例。类型二是面向医学诊断和语言康复的多模态数据库。

第四，侯教授介绍国内多模态数据库建设的基本情况，他认为国内外的多模态数据库规模都不大，相关研究还都刚刚起步，还需要进一步加大建设力度。

侯兴泉教授讲座现场

然后，侯教授讲解粤语语音数据库的建设现状。一是面向语言学的粤语音档库和粤语口语语料库。二是面向言语工程的粤语语音数据库。

侯教授重点讨论了粤语多模态语音数据库的建设：（1）介绍了数据的类型；（2）是数据采集的设备仪器；（3）是已采录的数据简介；（4）介绍数据和视频图像处理。

最后侯教授谈到了粤语多模态语音数据库建设的价值。一是大力推进粤语语音的生理研究和应用，二是促进粤语言语交际和话语分析等相关学科的发展，三是推进粤语言语工程领域的进展，四是有利于保护和传承粤语口传文化，五是有利于推动粤语研究与其他学科的交融。

彭志峰老师进行总结

同学现场提问

彭志峰老师对侯教授的观点总结为：语料立体化、采录多元化、界面可视化、应用智能化。在师生讨论环节，同学和在场的老师就语言的建档工作等问题进行讨论。此次讲座扩大了语言学学生的研究方向，为今后的研究方向提供新的思路，参加讲座的师生纷纷表示受益匪浅。讲座在大家的热烈掌声中圆满结束。