WebRTC 音频算法 附完整C代码
WebRTC提供一套音频处理引擎,
包含以下算法:
AGC自动增益控制(Automatic Gain Control)
ANS噪音抑制(Automatic Noise Suppression)
AEC是声学回声消除(Acoustic Echo Canceller for Mobile)
VAD是静音检测(Voice Activity Detection)
这是一套非常经典,以及值得细细品阅学习的音频算法资源。
在前面分享的博文,也有提及音频相关知识点。
一些算法优化的知识点,由于历史的原因,
WebRTC的实现已经不是当下最优的思路。
但也是非常经典的。
例如:
AGE算法中的WebRtcSpl_Sqrt 快速开平方的实现。
可以采用如下汇编函数替换之:
static float fast_sqrt(float x) {
float s;
#if defined(__x86_64__)
__asm__ __volatile__ ("sqrtss %1, %0" : "=x"(s) : "x"(x));
#elif defined(__i386__)
s = x;
__asm__ __volatile__ ("fsqrt" : "+t"(s));
#elif defined(__arm__) && defined(__VFP_FP__)
__asm__ __volatile__ ("vsqrt.f32 %0, %1" : "=w"(s) : "w"(x));
#else
s = sqrtf(x);
#endif
return s;
}
现代很多cpu 汇编指令已经支持开平方的快速实现,
经过测试比对确实会比WebRtcSpl_Sqrt 快不少的。
关于开平方的快速实现,详情可以看下:
https://www.codeproject.com/Articles/69941/Best-Square-Root-Method-Algorithm-Function-Precisi
做算法优化的同学,就放过开平方吧。
每个算法有两个基本指标,
性能,效果。
WebRTC 着力于音频通信,所以它对性能的要求是极高的。
而算法的性能的优化,绝大多数情况的思路,都是特例化。
以前在公司开技术分享会的时候,也分享过。
也就一句话,越靠近CPU,性能越快。
也就是除非要不得以,请不要写到硬盘上,然后再读上来。
因为硬盘离CPU太远了。
所以优化的思路也就非常明显了。
从快到慢的介质分别是
CPU的寄存器 -> CPU的缓存 -> 内存空间 -> 硬盘空间(磁盘)
所以 尽可能地要使用上层的资源,能用寄存器就用寄存器,
能往CPU的资源上靠,就要把算法数据结构和资源做得更加紧凑。
关于CPU的相关资源:
https://www.cpuid.com/softwares/cpu-z.html
可以下一个CPU-Z 查看一下。
抽丝剥茧,一定要了解CPU的结构性能信息。
然后对症下药,尽可能符合CPU的口味。
科普下算法优化的思路:
1.尽可能多用局部变量,编写最短,最有效的闭合函数。
为了编译处理的时候,能最终用上寄存器,去缓存。
2.尽可能少调用函数,参数最好是指针或引用传递,这样能减少拷贝,
当然,可以的话参数要尽可能地少。
3.处理的数据尽可能紧凑且少,数据对齐很大程度上,
就是为了符合CPU的喜好,用上它的缓存。
4.尽可能顺序读写,也是为了用上缓存资源
5.计算降级,一般情况下乘法比加法耗时,除法比乘法耗时。
浮点比整形耗时。
所以将乘法降为加法,将除法降为乘法,浮点降为整形(定点化)。
这一条大多数朋友若是不清楚为什么,可以移步资源:
https://github.com/ARM-software/CMSIS_5
阅读其中的一些实现,你会找到具体原因的。
这里就不展开了。
6.能用内存的,就不要用磁盘,我想这个没必要多解释了。
7.当然如果能用特定算法思路数据接口进行优化也是可以的,例如查表之类的。
好像有点跑题了,回到主题上。
抽空把以上提及的几个算法整理成
单文件实现的方式,并附加示例代码。
便于学习或者工程化之用。
相关项目地址:
https://github.com/cpuimage/WebRTC_AECM
https://github.com/cpuimage/WebRTC_NS
https://github.com/cpuimage/WebRTC_VAD
https://github.com/cpuimage/WebRTC_AGC
路漫漫其修远兮,一条道走到黑。
用cmake即可进行编译示例代码,详情见CMakeLists.txt。
若有其他相关问题或者需求也可以邮件联系俺探讨。
邮箱地址是:
gaozhihan@vip.qq.com
WebRTC 音频算法 附完整C代码的更多相关文章
- 音频降噪算法 附完整C代码
降噪是音频图像算法中的必不可少的. 目的肯定是让图片或语音 更加自然平滑,简而言之,美化. 图像算法和音频算法 都有其共通点. 图像是偏向 空间 处理,例如图片中的某个区域. 图像很多时候是以二维数据 ...
- mser 最大稳定极值区域(文字区域定位)算法 附完整C代码
mser 的全称:Maximally Stable Extremal Regions 第一次听说这个算法时,是来自当时部门的一个同事, 提及到他的项目用它来做文字区域的定位,对这个算法做了一些优化. ...
- 音频自动增益 与 静音检测 算法 附完整C代码
前面分享过一个算法<音频增益响度分析 ReplayGain 附完整C代码示例> 主要用于评估一定长度音频的音量强度, 而分析之后,很多类似的需求,肯定是做音频增益,提高音量诸如此类做法. ...
- 音频自动增益 与 静音检测 算法 附完整C代码【转】
转自:https://www.cnblogs.com/cpuimage/p/8908551.html 前面分享过一个算法<音频增益响度分析 ReplayGain 附完整C代码示例> 主要用 ...
- 基于傅里叶变换的音频重采样算法 (附完整c代码)
前面有提到音频采样算法: WebRTC 音频采样算法 附完整C++示例代码 简洁明了的插值音频重采样算法例子 (附完整C代码) 近段时间有不少朋友给我写过邮件,说了一些他们使用的情况和问题. 坦白讲, ...
- 基于RNN的音频降噪算法 (附完整C代码)
前几天无意间看到一个项目rnnoise. 项目地址: https://github.com/xiph/rnnoise 基于RNN的音频降噪算法. 采用的是 GRU/LSTM 模型. 阅读下训练代码,可 ...
- 自动曝光修复算法 附完整C代码
众所周知, 图像方面的3A算法有: AF自动对焦(Automatic Focus)自动对焦即调节摄像头焦距自动得到清晰的图像的过程 AE自动曝光(Automatic Exposure)自动曝光的是为了 ...
- 磨皮美颜算法 附完整C代码
前言 2017年底时候写了这篇<集 降噪 美颜 虚化 增强 为一体的极速图像润色算法 附Demo程序> 这也算是学习过程中比较有成就感的一个算法. 自2015年做算法开始到今天,还有个把月 ...
- 图片文档倾斜矫正算法 附完整c代码
2年前在学习图像算法的时候看到一个文档倾斜矫正的算法. 也就是说能将一些文档图像进行旋转矫正, 当然这个算法一般用于一些文档扫描软件做后处理 或者用于ocr 文字识别做前处理. 相关的关键词: 抗倾斜 ...
随机推荐
- javascript 函数的4种调用方式与 this(上下文)的指向
前言:这是笔者学习之后自己的理解与整理.如果有错误或者疑问的地方,请大家指正,我会持续更新! javascript中作用域链和this(上下文)的指向是很容易混淆的,简单的说就是: 作用域链取决于函数 ...
- Windows Socket的UDP和TCP编程介绍
1:网络中进程之间如何通信 为了实现进程之间通信,首要解决的问题是如何唯一标识一个进程,在本地可以通过进程PID来唯一标识一个进程,但是在网络中则是行不通的,其实TCP/IP协议族已经帮我们解决了这个 ...
- C# 类型、存储和变量
如果广泛地描述C和C++程序的源代码的特征,可以说C程序是一组函数和数据类型,C++程序是一组函数和类,然而C#程序是一组类型声明. 既然C#程序就是一组类型声明,那么学习C#就是学习如何创建和使用类 ...
- webpack模块化管理和打包工具
Webpack简介 webpack是当下最热门的前端资源模块化管理和打包工具.它可以将许多松散的模块按照依赖和规则打包成符合生产环境部署的前端资源.还可以将按需加载的模块进行代码分隔,等到实际 需要的 ...
- [PA 2014]Pakowanie
Description 你有n个物品和m个包.物品有重量,且不可被分割:包也有各自的容量.要把所有物品装入包中,至少需要几个包? Input 第一行两个整数n,m(1<=n<=24,1&l ...
- ●POJ 2828 Buy Tickets
题链: http://poj.org/problem?id=2828 题解: 线段树. 逆向考虑这个过程.最后的序列S共有n个元素. 先看最后一个人,如果他插入到第i位,那么他最终的位置就是当前序列S ...
- 【NOIP2016】【LCA】【树上差分】【史诗级难度】天天爱跑步
学弟不是说要出丧题吗>>所以我就研究了1天lca又研究了1天tj然后研究了一天天天爱跑步,终于写了出来.(最后的平均用时为240ms...比学弟快了1倍...) 题意:给你颗树,然后有m个 ...
- hdu 2243 考研路茫茫——单词情结(AC自动+矩阵)
考研路茫茫——单词情结 Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Total ...
- hdu 5012(bfs)
题意:给你2个 骰子,让你通过翻转使第一个变成第二个,求最少翻转数 思路:bfs #include<cstdio> #include<iostream> #include< ...
- [BZOJ]1005 明明的烦恼(HNOI2008)
BZOJ的第一页果然还是很多裸题啊,小C陆续划水屯些板子. Description 自从明明学了树的结构,就对奇怪的树产生了兴趣......给出标号为1到N的点,以及某些点最终的度数,允许在任意两点间 ...