Gstreamer中，使用mp4或者flv作为视频源去推流RTP等视频流时，需要先解码在编码才能正常

前言：

        在Gstreamer中，视频源可以有很多，在很多时候，我们为了测试，会使用MP4等文件作为视频源进行测试，但是发现无论是我自己测试，还是很多网上的命令，都需要先对mp4的h264数据解码以后，再编码为h264，然后再封装和推流，这个就感觉很离谱，今天算是差不多搞明白了。以下是测试步骤：

测试流程：

使用h264文件：

推流：

gst-launch-1.0 -v filesrc location=1080p_60fps.h264 ! h264parse ! rtph264pay ! udpsink host=127.0.0.1 port=8000

播放：

gst-launch-1.0 udpsrc port=8000 ! application/x-rtp, media=video, clock-rate=90000, encoding-name=H264 ! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! glimagesink name=vsink sync=false

这个是正常的。

使用MP4文件：

解封装以后进行推流：

gst-launch-1.0 -v filesrc location=./1080p_60fps_h264.mp4 ! qtdemux ! h264parse ! rtph264pay ! udpsink host=127.0.0.1 port=8000

发现不报错，但是无法播放。

正常：

gst-launch-1.0 -v filesrc location=./1080p_60fps_h264.mp4 ! qtdemux ! avdec_h264 ! x264enc ! rtph264pay ! udpsink host=127.0.0.1 port=8000

发现需要先解码再编码才可以，这样的话，不是无形之间增加了资源消耗吗？

原因：

        偶然之间，发现了一个知识点：

        H264有两种封装模式，一种是annexb模式，传统模式，有startcode，SPS和PPS是在ES中，第二种是mp4模式，没有startcode，SPS和PPS以及其他信息封装在container中，每一个frame前面4个字节是这个frame的长度。很多解码器只支持annexb这种模式，因此需要将Mp4做转换，flv也是一样。

        所以，这里的关键是有没有SPS和PPS信息。mp4和flv的h264文件中，SPS和PPS数据不是在每一帧前面的，而且还没有四个字节的startcode：

        左边是正常的，右边是不正常的。

        为了验证这个思路是否正确，我使用了TS视频流进行测试：

验证

        根据之前的原因分析，理论上，ts流就可以不用先解码再编码。事实证明确实如此：

使用ts作为视频源进行推流：

gst-launch-1.0 -v filesrc location=./believe.ts ! tsdemux ! rtph264pay ! udpsink host=127.0.0.1 port=8000

播放：

gst-launch-1.0 udpsrc port=8000 ! application/x-rtp, media=video, clock-rate=90000, encoding-name=H264 ! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! glimagesink name=vsink sync=false

发现可以正常播放。

解决办法：

方法一：

        在mp4和flv作为视频源的时候，需要先解码再编码。

        此方法具有泛用性。

方法二：

        在推流的时候，想办法加入SPS和PPS数据。比如后面找到的一种方法：将rtph264pay config-interval=-1 只要这个参数不是0就行，使用gst-inspect-1.0 rtph264pay命令查看，这个参数的意思如下：

进行测试：

gst-launch-1.0 -v filesrc location=./1080p_60fps_h264.mp4 ! qtdemux ! rtph264pay config-interval=-1 ! udpsink host=127.0.0.1 port=8000

发现可以不用先解码再编码就可以实现了。

但是这种情况，并不适用于所有情况，比如SRT协议，还是需要先解码再编码：

gst-launch-1.0 -v filesrc location=./1080p_60fps_h264.mp4 ! qtdemux name=demux demux.video_0 ! h264parse ! avdec_h264 ! x264enc ! mpegtsmux ! srtsink uri=srt://192.168.1.125:8088?mode=listener

方法三：

        使用ffmpeg的h264_mp4toannexb 过滤器。

        参考代码如下，这个代码只是将mp4中的h264文件，转换为了annexb模式的h264，此代码并未实现RTP的封装和推流，需要以后完善。

#include <stdio.h>
#include <libavutil/log.h>
#include <libavformat/avio.h>
#include <libavformat/avformat.h>static char err_buf[128] = {0};
static char* av_get_err(int errnum)
{av_strerror(errnum, err_buf, 128);return err_buf;
}/*
AvCodecContext->extradata[]中为nalu长度
*   codec_extradata:
*   1, 64, 0, 1f, ff, e1, [0, 18], 67, 64, 0, 1f, ac, c8, 60, 78, 1b, 7e,
*   78, 40, 0, 0, fa, 40, 0, 3a, 98, 3, c6, c, 66, 80,
*   1, [0, 5],68, e9, 78, bc, b0, 0,
*///ffmpeg -i 2018.mp4 -codec copy -bsf:h264_mp4toannexb -f h264 tmp.h264
//ffmpeg 从mp4上提取H264的nalu h
int main(int argc, char **argv)
{AVFormatContext *ifmt_ctx = NULL;int             videoindex = -1;AVPacket        *pkt = NULL;int             ret = -1;int             file_end = 0; // 文件是否读取结束if(argc < 3){printf("usage inputfile outfile\n");return -1;}FILE *outfp=fopen(argv[2],"wb");printf("in:%s out:%s\n", argv[1], argv[2]);// 分配解复用器的内存，使用avformat_close_input释放ifmt_ctx = avformat_alloc_context();if (!ifmt_ctx){printf("[error] Could not allocate context.\n");return -1;}// 根据url打开码流，并选择匹配的解复用器ret = avformat_open_input(&ifmt_ctx,argv[1], NULL, NULL);if(ret != 0){printf("[error]avformat_open_input: %s\n", av_get_err(ret));return -1;}// 读取媒体文件的部分数据包以获取码流信息ret = avformat_find_stream_info(ifmt_ctx, NULL);if(ret < 0){printf("[error]avformat_find_stream_info: %s\n", av_get_err(ret));avformat_close_input(&ifmt_ctx);return -1;}// 查找出哪个码流是video/audio/subtitlesvideoindex = -1;// 推荐的方式videoindex = av_find_best_stream(ifmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);if(videoindex == -1){printf("Didn't find a video stream.\n");avformat_close_input(&ifmt_ctx);return -1;}// 分配数据包pkt = av_packet_alloc();av_init_packet(pkt);// 1 获取相应的比特流过滤器//FLV/MP4/MKV等结构中，h264需要h264_mp4toannexb处理。添加SPS/PPS等信息。// FLV封装时，可以把多个NALU放在一个VIDEO TAG中,结构为4B NALU长度+NALU1+4B NALU长度+NALU2+...,// 需要做的处理把4B长度换成00000001或者000001const AVBitStreamFilter *bsfilter = av_bsf_get_by_name("h264_mp4toannexb");AVBSFContext *bsf_ctx = NULL;// 2 初始化过滤器上下文av_bsf_alloc(bsfilter, &bsf_ctx); //AVBSFContext;// 3 添加解码器属性avcodec_parameters_copy(bsf_ctx->par_in, ifmt_ctx->streams[videoindex]->codecpar);av_bsf_init(bsf_ctx);file_end = 0;while (0 == file_end){if((ret = av_read_frame(ifmt_ctx, pkt)) < 0){// 没有更多包可读file_end = 1;printf("read file end: ret:%d\n", ret);}if(ret == 0 && pkt->stream_index == videoindex){int input_size = pkt->size;int out_pkt_count = 0;if (av_bsf_send_packet(bsf_ctx, pkt) != 0) // bitstreamfilter内部去维护内存空间{av_packet_unref(pkt);   // 你不用了就把资源释放掉continue;       // 继续送}av_packet_unref(pkt);   // 释放资源while(av_bsf_receive_packet(bsf_ctx, pkt) == 0){out_pkt_count++;// printf("fwrite size:%d\n", pkt->size);size_t size = fwrite(pkt->data, 1, pkt->size, outfp);if(size != pkt->size){printf("fwrite failed-> write:%u, pkt_size:%u\n", size, pkt->size);}av_packet_unref(pkt);}if(out_pkt_count >= 2){printf("cur pkt(size:%d) only get 1 out pkt, it get %d pkts\n",input_size, out_pkt_count);}}else{if(ret == 0)av_packet_unref(pkt);        // 释放内存}}if(outfp)fclose(outfp);if(bsf_ctx)av_bsf_free(&bsf_ctx);if(pkt)av_packet_free(&pkt);if(ifmt_ctx)avformat_close_input(&ifmt_ctx);printf("finish\n");return 0;
}