音视频同步笔记 - 以音频时间为基
音视频同步 - 以音频时间为基
上图介绍：
- 该图是以音频的时间为基，对视频播放时间的延迟控制方案，只调整视频的播放延时。
- delayTime是视频播放的延迟时间，初始值是1 / FPS * 1000 (ms)，如果FPS为25帧率，初始值即为40ms。为理解同步过程，明确一点，delayTime是会不断调整的，并不是一直40ms。
- 以上的time_base，结构体是AVStream::time_base。
- Step2中展示的是diff（音视频播放时差）处于不同范围时，对应不同的视频播放延迟时间(delayTime)。
流程：
Step1：判断 音频帧 or 视频帧 快 ?
时间差(diff) = 音频播放时间 - 视频播放时间;
Step2：当diff > 0 ms 时，说明音频帧比视频帧快：
音频帧比视频帧快，视频帧应该追赶音频帧，所以应该减少视频帧的延迟时间。
diff（音视频播放时差）处于不同范围的处理情况：
| 音视频播放时差范围 |
|---|
| 3ms - 500ms |
| 500ms - 10000ms |
| > 10000ms |
（1）3ms - 500ms：
视频帧慢了3ms - 500ms，将上一次delayTime乘以2/3，达到减少视频延迟时间的效果。
delayTime = delayTime * 2 / 3
当diff处于3 - 500 ms这个范围，视频延迟时间(delayTime)要求，不能低于默认延迟时间（defaultDelayTime，25帧则为40ms）的一半，也不能大于默认延迟时间的两倍。
- 如果delayTime小于默认延迟时间的一半，将delayTime调整为默认延迟时间(defaultDelayTime)的2/3。
- 如果delayTime大于默认延迟时间两倍，将delayTime调整为默认延迟时间(defaultDelayTime)的两倍。
（2）500ms - 10000ms:
视频帧慢了500ms - 10000ms，将delayTime设置为0。
（3）diff > 10000ms
视频帧和音频帧差距很大了，无法通过追赶达到同步，应该将视频缓存队列清空，直接引入最新鲜的视频帧。
Step2：当diff < 0 ms 时，说明音频帧比视频帧快：
音频帧比视频帧慢，视频帧应该等一下音频帧，所以应该增加视频帧的延迟时间。
diff（音视频播放时差）处于不同范围的情况：
（1）3ms - 500ms：
视频帧快了3ms - 500ms，将上一次delayTime乘以3/2，达到增加视频延迟时间的效果。
delayTime = delayTime * 3 / 2
当diff处于3 - 500 ms这个范围，视频延迟时间(delayTime)要求，不能低于默认延迟时间（defaultDelayTime，25帧则为40ms）的一半，也不能大于默认延迟时间的两倍。
- 如果delayTime小于默认延迟时间的一半，将delayTime调整为默认延迟时间(defaultDelayTime)的2/3。
- 如果delayTime大于默认延迟时间两倍，将delayTime调整为默认延迟时间(defaultDelayTime)的两倍。
（2）500ms - 10000ms:
视频帧快了500ms - 10000ms，将delayTime以两倍 defaultDelayValue时间进行延时。
（3）diff > 10000ms
视频帧和音频帧差距很大了，无法通过追赶达到同步，应该将音频缓存队列清空，直接引入最新鲜的音频帧。