走进音视频的世界——Opus编解码协议
Opus是一种开源免费的音频编解码器，支持音乐和语音，具有低延时、带内FEC、DTX、PLC等特点，默认22.5ms延时，非常适用网络实时传输。官网：https://www.opus-codec.org。Opus协议收录于RFC6716，使用SILK和CELT两种编码。
目录
一、Opus特点
二、码率、音质、延时
1、音质与码率比较
2、码率与延时对比
三、Opus编解码框架
四、DTX非连续传输
五、FEC前向纠错
六、Opus解码
1、SILK解码器
七、PLC丢包隐藏
一、Opus特点
Opus在语音app应用很广泛，包括VoIP、视频会议、语音聊天、音乐直播演唱会等。即支持低码率语音，也支持高音质音乐。特点如下：
- 码率支持从6kb/s到510kb/s；
- 采样率支持从8kHz到48kHz；
- 可变帧长从2.5ms到60ms；
- 支持CBR和VBR两种码率模式；
- 音频带宽从窄带到全频带；
- 支持语音和音乐；
- 支持多达255个声道；
- 动态调整码率、带宽、帧大小；
- 支持PLC丢包隐藏；
二、码率、音质、延时
1、音质与码率比较
Opus、AAC、MP3、Vorbis等codec的质量与码率对比，如下图所示：
由图可见，Opus的码率从6kb/s到128kb/s都是音质最高的，接着是AAC、Vorbis，而MP3是在128kb/s时取得不错音质。
2、码率与延时对比
Opus、AAC、Vorbis、MP3等codec的码率与延时对比，如下图所示：
由图可见，Opus的码率从6kb/s到80kb/s时，延时都是最低的。接着是窄带的G729，超宽带的AAC-LD(低延迟模式)。而延时比较的是Vorbis、AAC、MP3，延时达到200ms左右。
三、Opus编解码框架
Opus的编解码框架包括：VAD静音检测、音调分析、预测分析、噪声整形分析、长期预测量化、线谱频率量化、增益量化。如下图所示：
四、DTX非连续传输
DTX，Discontinuous Transmission，用于检测静音传输时，自动降低码率节省带宽。前面提及的VAD模块就是用来静音检测。DTX适用于VBR和CBR码率模式，会稍微降低声音质量。因此，建议在网络带宽受限条件下，才开启DTX。
五、FEC前向纠错
FEC，Forward Error Correct，通过添加先前数据包的冗余数据到当前包，实现前向纠错。Opus允许带内的FEC。编码器觉决定是否使用FEC取决以下条件：
- 外部提供信道丢包率估计；
- 外部提供信道容量估计；
- 语音或音乐对丢包的敏感度；
- 解码器有没请求带内FEC信息；
发生丢包时，接收端可以根据FEC重建数据包。但是，每个数据包加上FEC导致数据量变大，所以FEC需要根据实际情况使用(比如丢包率达到一定程度)。
六、Opus解码
Opus的解码包括SILK和CELT两部分，在SILK端做采样率转换和延迟补偿，在CELT端做决策处理。如下图所示：
1、SILK解码器
SILK解码流程如下图所示： 
对应序号的参数如下：
- 局部编码比特流；
- 编码参数；
- 脉冲、信号；
- 音调间隔，LTP系数；
- LPC线性预测编码系数和增益；
- 解码信号；
- 分离信号；
- 重采样信号；
七、PLC丢包隐藏
PLC，Packet Loss Concealment，是解码器可选模块。PLC依赖上一个接收到的数据包。在CELT解码模式，找出周期性的解码信号，使用音调偏移来重复窗口波形。窗口波形以如下方式重叠：保留时域混叠消除的上一个帧和下一帧。调用celt_decode_lost()函数实现。在SILK解码模式，使用上一帧的LPC插帧。