调研-音视频
音视频
- 基础概念
- 主要内容
- 音频
- 基础概念
- 音频量化过程
- 音频压缩技术
- 视频
- 基础概念
- 视频bug
- 视频编码
- H264
- 视频像素格式
- YUV
- RGB
- 参考文献
基础概念
● 实时音视频应用环节
○ 采集、编码、前后处理、传输、解码、缓冲、渲染等很多环节。
主要内容
音频
基础概念
- 三要素：音调（音频）、音量、音色
- 工具：ffmpeg、ffplay、flashplayer
- 听觉范围：20HZ~20KHZ，可以听见的
音频量化过程
- 音频量化过程
-
模拟信号（连续）
-
采样：在一段时间内等间隔地获取模拟信号的幅度值，得到一系列采样点。
- 采样率（Sample Rate）决定了每秒钟对模拟信号进行采样的次数，常见的采样率有44.1 kHz、48 kHz等。较高的采样率可以更准确地还原原始声音，但也会增加数据量。
- 采样大小：即采样的纵坐标对应值，表示一个采样用多少位存放。
-
量化：为了更高效地保存和传输每个采样点的数值，将这些振幅值进行规整，这一过程称为量化。
- 量化精度：量化的精度等于相邻两个整数所表示的实数的差值(标准)，如果两个实数之间的差距小于这个差值，他们便会被量化为同一个整数。（图像变化：连续的信号最后被转变为了阶梯状的图像）
- 量化的过程会损失一定的精度，按照精度可以将量化分为8位量化、16位量化、32位量化等。
-
编码
- 将量化后离散整数序列转化为计算机实际储存所用的二进制字节序列的过程叫做音频编码。反之，将二进制字节恢复成音频信号的过程称为解码。
-
-
码率（/音频的比特率）
- 指 每秒传输的音频的比特数。单位：bps。
- 计算公式=采样率 x 采样大小 （位数）x 声道数。
-
音频压缩技术
- 音频压缩技术基础概念
- 数字音频信号中存在冗余信息，对这些冗余成份进行去除可以降低传输带宽，提高效率。
- 冗余信息：人耳听觉范围外的音频信号以及被掩蔽掉的音频信号等。
- 人耳听觉范围之外：20Hz～20KHz之外。
- 掩蔽效应：
- 频谱掩蔽效应：一个频率的声音能量小于某个阈值之后，人耳就会听不到，这个阈值称为最小可闻阈。当有另外能量较大的声音出现的时候，该声音频率附近的阈值会提高很多，即所谓的掩蔽效应。
- 时域掩蔽效应：当强音信号和弱音信号同时发生或发生时间很接近的时候，会发生掩蔽效应，分为前掩蔽、同时掩蔽和后掩蔽三部分。
- 前掩蔽是指人耳在听到强信号之前的短暂时间内，已经存在的弱信号会被掩蔽而听不到。
- 同时掩蔽是指当强信号与弱信号同时存在时，弱信号会被强信号所掩蔽而听不到。
- 后掩蔽是指当强信号消失后，需经过较长的一段时间才能重新听见弱信号，称为后掩蔽。这些被掩蔽的弱信号即可视为冗余信号。
- 压缩类型
- 有损压缩(还原回来的数据和原数据不一样)：消除冗余的数据
- 无损压缩：以哈夫曼无损编码为代表。
- 压缩编码方式
- 基本编码思路
- 基本编码思路
