【音视频】3A算法
一、分类 知识点
噪声抑制(NS):将噪声和人声分成2个频道处理,实现噪声抑制,人声增强。
学习链接:http://home.eeworld.com.cn/my/space-uid-238800-blogid-32800.html
直播间关于噪声的问题:2台手机在同一个直播间,靠近会造成嘈杂声音大。属于近距离通话、录音噪声问题。
解决办法:2个麦克风,分别收集,修改底层算法(使用的是什么算法)
常见问题:直播房间里的嘉宾声音小的问题,可能是在降低噪音的同时连带人声也一块衰减了
回声抵消(EC):声学回声、线路回声
学习链接: https://blog.csdn.net/haima1998/article/details/72676702
声学回声形成原因:扬声器的声音反馈到麦克风引起,接受者房间的的声音空间反射,形成回声重新从麦克风传入,叠加了新的声音(需要在接受者房间应用回音抵消模块)
线路回声形成原因:物理电子线路的二四线匹配耦合引起的,由于电路存在不匹配的问题,会有一部分信号被反馈回来,形成回音。
解决办法:在发送时,把不需要的回音从语音流中去掉。通过声音源,进行参数处理,消除
常见问题:混合的声音是很难分离,声音源与远端参考信号不完全一样,只是相似度高。通过自适应滤波器进行数学处理。
增益控制(GC):未保持接收机当输出端的电压或功率基本保持不变或者恒定
学习链接: https://blog.csdn.net/wordwarwordwar/article/details/79539098
原理:
- 当输入信号很弱时,接收机的增益大,自动增益电路不起作用
- 当输入信号很强时,自动增益电路控制,使接收机当增益减小
AGC电路(算法)工作原理
- 响度增益因子的确定
- 把响度增益因子映射到等响度曲线上,确定最终各频率的增益权重。
新一代引擎:原有的线性滤波器和 NLP 上的优化外,还加入了自研的双讲检测和 Noise Injection,进一步的提升了AEC在更多场景下的效果。
二、硬件回声消除
区别:走系统的回声消除
特点
得支持通话模式
一般手机都支持,系统在设定了固定的距离,效果最好
不可升级
三、软件回声消除
走webRTC的回声消除
特点
webRTC会处理一个最优的距离
webRTC升级迭代,会优化这个回声
自研可定制
"audio": {"device_input": 2,"aec_mode": -1,"agc_mode": -1,"anc_mode": -1},
效果:一般软件回声消除效果会比硬件回声消除效果好,但跟根据机型特殊情况
四、opensl es
定义:嵌入式跨平台免费的音频处理库。简单说麦克风的采集类型
学习地址:https://blog.csdn.net/ywl5320/article/details/78503768