AI时代，音乐科技如何触摸温度与浪漫？

科技赋能音乐的命题由来已久。

从黑胶唱片到CD，从随身听到如今的智能音箱，技术的进步深刻改变了人们消费音乐的方式和场景。音乐产业进入流媒体时代后，科技已成为音乐平台差异化的重要驱动力，其在音乐行业的重要性不断凸显。

“后版权时代”的到来，也加速了音乐业务向泛音乐层面的发展，如何以科技创新为用户提供更便捷多元的音乐体验，成为音乐行业的新共识。与此同时，为了始终葆有音乐最初的美好，音乐科技正以更有温度的方式，持续赋能多维度的音乐体验革新。

老路与新题

不同于唱片时代稍显笨拙的“淘”音乐，流媒体时代的听众，更多的是在挑选音乐。

2015年Spotify的Discover Weekly上线，它会根据“口味”每周为用户推荐30首歌曲，也帮助Spotify在诸多音乐平台中脱颖而出。这一切都要得益于2014年对The Echo Nest的收购，这家音乐智能分析公司的并入，显著提升了Spotify的智能推荐技术。

 早年，人们都在唱片店挑唱片

如今，音乐平台间的差异化竞争，已不止智能推荐那么简单。无论是Apple Music的智能互联还是QQ音乐的哼唱识别，可以看到，在音乐平台们使自己与众不同的努力中，越来越多的先进科技被应用于音乐。随着不少平台将科技赋能上升至战略层面，业内技术交流的需求也愈发迫切。

10月26日，TME举办的业内首个“音乐黑科技狂欢节”——“TechME技术周”刚刚在深圳启动。这个以“Rock N Code，让技术发声”为主题的技术周活动以技术分享与行业交流为主，将围绕音视频、NLP、安全技术、数据科学等多个技术维度展开交流。

TechME技术周

在此次交流活动中，TME还揭开了首个音视频技术研发中心——天琴实验室的神秘面纱。据悉，该实验室的前身是QQ音乐多媒体研发中心，如今整合了多个TME技术团队，并以宇宙中的天琴座为名“卷土重来”。

如神话中悬挂于天穹的七弦琴，如此浪漫的命名也包含了团队希望让技术更具温度，为用户提供更好音娱体验的美好期许，并有了越来越多的落地。

天琴实验室介绍短片

科技赋能音乐的“天琴”答卷

音乐场景多元化的趋势下，消费音乐已经远远超过单一的“听”的维度，如何为用户提供听、唱、看一体化的音娱体验，已成为科技赋能音乐的主题。

在天琴实验室团队看来，在冰冷的数据技术中看到人，就是注入技术以温度的具体内涵。也就是说，如何让AI技术更有温度，关键在于能否以用户需求为导向进行技术研发。

AI时代正在到来

随着音乐的应用场景越发广泛，用户在音频识别上的需求越来越高。尽管音频指纹技术应用于听歌识曲已有多年，但由于声纹的变化，歌曲的翻唱版却难以识别。

意识到这一用户需求后，在2012年的算法技术基础上，QQ音乐的听歌识曲团队在2019年对其进一步优化，并获得了Mirex音频指纹大赛冠军，同时打破了三项世界纪录；去年，又成功将基于DNN的翻唱识别技术引入听歌识曲场景，开创了革命性的第一代听歌识曲系统。这一技术应用，不仅能识别短视频、综艺里的翻唱歌曲，还能识别Live、直播等线下场景中的歌曲使用，在原始系统无法识别的歌曲中，识别率提升了12%，实现了用户听翻唱歌曲的自由。

值得一提的是，团队还制作了“离线系统”的小彩蛋，在歌曲第一次未能成功识别后，QQ音乐会在一周之内自动向全曲库发起请求，直到识别成功再为用户发送反馈提醒。这种始终“牵挂”着待解用户需求的贴心设计，便是技术温度的体现。而类似细节需求的精准洞察，往往能为用户体验的提升带来四两拨千斤的效果。

QQ音乐听歌识曲功能

当下，视频APP的崛起改变了用户的观看习惯，为了适应这些改变，QQ音乐等平台也在播放页添加了竖屏MV。在不改变音乐内核的前提下，利用短视频传播优势，尝试实现优质作品的“被记住”，而不仅是“被听到”。

在“天琴”的帮助下，QQ音乐会对横屏MV进行歌手检测、注意力检测，并通过多目标跟踪和注意力热力图等技术，实现对焦点运动轨迹的优化。在发掘了一段横屏MV中最精彩、最具美感的片段后，平台会将用户关注的区域裁剪下来并输出，实现“音乐视频竖屏化”。实验显示，QQ音乐播放页静音视频、竖屏MV将用户的听歌时长提高了5.5%。

此外，最能让人明显感知到AI技术温度的，当属在公益项目落地中的人文关怀。今年8月，QQ音乐运用天琴实验室的音频处理和合成的相关技术，制作了国内首张低频公益专辑《听见“听不见”的音乐》，让中高频听力损失的孩子们第一次听到完整的音乐，感受到了音乐的多种“色彩”。

可见，以“让科技充满温度”为研发导向，在“AI技术赋能音乐”的时代新题中，浪漫且温暖的天琴实验室，交出了不一样的答卷。

中高频听力损失的孩子们第一次听低频公益专辑

除了音频技术和“音乐视频化”的探索外，在线K歌领域的技术赋能也在持续进行中。今年5月，一个名为《唱歌风水学概论》的视频在B站引发众多网友热议，视频诙谐幽默地讲述了音准、节奏、技巧、气息、情感五要素在一首歌演绎中的重要性，助力这段视频出圈的，正是TME旗下的全民K歌。

《唱歌风水学概论》视频

在以往的K歌评分软件中，技巧、情感等要素在打分中鲜有体现。利用多维度歌曲评价技术，全民K歌不仅实现了对歌曲演绎时颤音、滑音、装饰音的捕捉，还能从抑扬起伏等动态变化中“感受”用户的情感表达。

与此同时，多维度歌曲评价技术还成功应用于线下比赛中。去年8月的“校园星歌声”总决赛上，AI智能评分系统从选手歌唱特性、技巧、音域等维度对歌声进行科学分析，不仅为紧张的比赛增加了趣味性，而且提升了赛事评比的客观公正性。

“校园星歌声”总决赛上应用了AI智能评分系统

在科技向善的技术价值观下，“天琴”也尽量帮助每一位用户都拥有更好的表达。为此，全民K歌上线了智能修音技术，帮助用户免费体验百万修音师的服务；直播方面，QQ音乐从主播端和用户端同时发力，实时美白、去噪、超分、超帧技术正在完善QQ音乐全链路的视频质量。

可以看到，在打造听、唱、看一体化音娱平台的赛道上，音视频技术能力建设的“未雨绸缪”已帮助QQ音乐等平台占得先机。如今，天琴实验室已手握384项专利技术，拿下Mirex音频指纹大赛冠军、深圳市科技专利奖等多个国内外音视频重量级奖项，多项论文也被收录于ICASSP、IJCNN、INTERSPEECH等各大国际论坛组织。

技术的领先自然离不开优秀的人才，早在“天琴”正式推出之前，就邀请了多位海内外知名研究者加入，与国内顶尖实验室的合作也在同步进行中。

2020年，“天琴”与中国科学技术大学合作研发的时间戳技术在MIREX大赛中一举超过Spotify；同年，天琴实验室与西北工业大学顶尖实验室展开合作，在长音频的语音合成方面取得长足进展。而作为研究音乐科技的领军团队，他们还通过AI智能和人工辅助合成独特的logo音乐，创造了独属于天琴的旋律，宣告科技与音乐的结合可以多么多浪漫。

QQ音乐业务线技术副总裁周文江（图左）为西北工业大学人工智能领域专家谢磊（图右）颁发聘任证书

换句话说，在音乐消费场景多元化带来体验升级的新命题中，平台不仅需要多向技术的支撑，更需要“温度”的指引与人才的推进。在AI科技赋能音娱平台的路上，“天琴”已经出发，以“让音乐进入生活每一个场景”，让用户切实享受音乐的美好与纯粹。

还有多少想象空间？

关于人工智能技术能否在艺术产业中大展身手的讨论由来已久。

赫拉利在《今日简史》中指出，所有艺术形式中，最容易受到大数据分析冲击的可能就是音乐，因为“音乐的输入和输出都适合用精确的数学来描述，输入时是声波的数学模式，输出时则是神经风暴的电化学反应模式……算法只要经过几百万次的音乐体验，就可能学会如何预测某种输入产生某种输出”。

若真如赫拉利所言，只要数据分析进化到一定程度，它就能对需求识别、创作导向、市场预测等行业各个环节实施助力，科技赋能音乐的想象空间也将被逐步打开。而在行业的持续探索下，这一领域的美好图景已初现端倪。

AI作曲

科幻动漫《卡罗尔与星期二》中，作者构想了一个99%热门歌曲由AI创造的人类社会，在算法作曲技术和音乐元宇宙逐步推进的当下，这样的想象正成为现实。据悉，天琴实验室未来将发力AI自动作曲、专业级歌唱评价、神经网络编码器等音乐黑科技。

对于普通人而言，音乐创作的门槛大大降低，或许每个人都能通过音乐记录生活，也能通过歌曲被人记住；对于音乐人来说， AI也可以成为自己的得力助手，激发创作灵感，提升创作效率。而多维度歌唱评价技术的逐渐成熟，我们有理由相信，伴随AI的进一步发展，它不仅能对一首歌曲演绎在音准、节奏、气息等层面进行综合考量，或许还能捕捉歌曲高层声乐特征，依据不同音乐人的歌唱偏好，实现专业级歌唱评价。

随着音乐元宇宙走进现实，在不远的将来，也许每个人都将成为创作者、表演者、乐评人甚至唱片企划。届时，玩音乐不再只是少数人的天赋，每个人的音乐才华都将被激发出来，从数以亿计的用户中“发现下一个帕瓦罗蒂”也将成为可能。

AI演奏

回过头来看，当下音乐平台对听、唱、看一体化音娱平台的构建，恰恰是对音乐元宇宙技术基础的完善。在优化用户感官享受的过程中，音乐平台提供“沉浸感”体验的目标与音乐元宇宙的重要元素不谋而合，而音频超分辨率、唱跳识别、音色合成等技术也将为未来元宇宙中的“居民”们提供更真实、完整的音娱体验。

当然，产业升级不会是一日之功，在此之前，还需要科技的持续创新与大平台的引领带动。与唱片时代向流媒体时代的转变不同，目前音乐行业进行的，是一场将由音乐流媒体平台主导的内容生态与音乐消费方式的创新。

在这个过程中，QQ音乐等技术先行者，也为行业后续探索提供了范本——让用户在细节中感受到科技的浪漫，在痛点满足中释放出科技赋能音乐更大的想象空间。

先声话题

话题内容：从创作、推歌、修音到歌唱评价、版权监测，科技赋能音乐，还有哪些想象空间？