NVIDIA RTX Voice AI降噪体验:效果非常明显,暂不够智能但未来可期
前不久NVIDIA发布了一个RTX Voice软件,该软件可以利用AI识别来对音频进行处理,实现降噪的效果。经过体验过后,个人觉得NVIDIA依靠其硬件市场铺就的算力和用户基数,该AI降噪确实很有前景,但是就目前来看,该AI技术还属于“婴儿”阶段,对于噪音的识别目前还不能做到体验足够的好。
NVIDIA这个AI降噪说简单点,给人的感觉就是通过AI识别人声,然后将人声之外的所有声音都消除掉(你没有看错,即使是乐曲等等只要不是人说话的声音,它都会对其做手脚)。话说即使这样,如果真能很完美的识别人声,那么对于语音聊天、远程会议等这些只需要通过人声传递沟通信息的应用场景来说也算很实用了,不过就笔者体验来看,目前它对人声的识别还未能够让人满意,即使是人声也有被误判而被完全消除的情况发生。
RTX Voice安装及设置
先说下该软件怎么用吧,其实操作还是很简单的,读者也可以参照如下设置自己去体验一下效果,由于该技术会不断学习,去更智能更准确的识别,所以只要用户们多用,供给它越来越多的数据,它的体验也就会变得越来越好。
要使用RTX Voice软件,NVIDIA说必须使用RTX显卡,GeForce RTX游戏卡或Quadro RTX专业卡都行,并且驱动要保证至少是410.18版本及以上,而且只能在Windows 10系统上使用。笔者体验用的是GeForce RTX 2070 SUPER显卡,驱动版本为442.92,Windows 10版本为1909。
首选,下载RTX Voice软件然后安装,它会自动弹出配置界面,该界面就是选择RTX Voice软件将要处理的音频源文件的来源,这里配置成你正常语言聊天用的声音输入设备和输出设备就行。降噪功能的过程就是音频源文件先经过RTX Voice软件,RTX Voice软件调用显卡的算力进行AI识别,将噪音部分消除,然后再输出。
在该界面声音输入设备和输出设备下面的勾选框就是是否打开降噪效果(输入音频降噪是将你发送给别人的语音进行降噪后发送,输出音频降噪是将你听到的音频进行降噪后播放给你听),并且可以选择降噪程度。前面我们说了,目前该技术还不够智能,即使是乐曲等等只要不是人说话的声音,它都会对其做手脚,所以英伟达也建议目前不要勾选输出音频降噪功能,这样你听音乐什么的就不会受影响。对于输入音频,一般应用都是开黑或者开会,主要传递人声就好,所以可以很好的用上该功能。
其实安装完成后,NVIDIA就在操作系统中添加了一个虚拟的麦克风和一个虚拟的扬声器,在操作系统中的声音设置里将输出设备和输入设备设置为这个虚拟的麦克风和扬声器,再配合上之前RTX Voice软件中的设置选项,就可以在操作系统下全局使用该功能了。
输出音频降噪
下面我们先体验输出音频部分的降噪功能。如前面所述在RTX Voice软件中我们将音频输出设备设置为我们正在用的耳机或者桌面音箱,然后在操作系统里的声音设置里面讲输出设备选择为带有NVIDIA字样的这个虚拟扬声器。接着我们随便打开网络上一段街头采访的视频来播放,然后打开RTX Voice软件通过勾选和不勾选输出音频降噪功能,来对比差别,体验降噪效果。就笔者体验来说,确实感觉能很好的去除视频中的环境噪音,而且效果相当的明显,不过人声说话部分听着也不自然了。
输入音频降噪
接着我们将操作系统里的声音设置里面将输出设备改回正常的在用的耳机或者桌面音箱,来体验输入音频部分的降噪功能。还是如前面所述在RTX Voice软件中我们将音频输入设备设置为我们正在用的耳机麦克风或者独立麦克风,然后在操作系统里的声音设置里面讲输出设备选择为带有NVIDIA字样的这个虚拟麦克风。接着我们用手机打开网络上一段街头采访的视频对着耳机麦克风或者独立麦克风播放,然后打开RTX Voice软件通过勾选和不勾选输出音频降噪功能,用Windows 10自带的录音机程序分别记录两种设置下的录音结果,通过回放收听来对比两段音轨的区别来体验降噪效果。
无降噪
AI降噪
笔者录得的两段音轨如上,可以听到,即使是人声的“save the world”这一句,也被消除掉了,并且同样保留下来的人声说话部分听着也不自然了。
总结
目前对于该降噪功能的应用笔者认为最好的体验还是仅在特定的程序中应用它,而不要在操作系统中全局使用。比如QQ,我们可以打开QQ的设置,在“声音”选项栏下,将“音视频通话”中的麦克风和扬声器都设置为NVIDIA的虚拟的麦克风和虚拟的扬声器。这样我们用QQ的时候该程序就会自动启用该功能了。
总的来说这个技术还是很不错的,这个AI还处在学习阶段,只要用户做够多的用RTX Voice软件,提供更多的数据供其学习,配合背后工程师们的努力,RTX Voice软件会变得越来越智能的,体验也就会越来越好些了。