当前位置： 首页 > news >正文

ffmpeg音视频开发从入门到精通——ffmpeg实现音频抽取

news 来源：原创 2024/9/19 11:03:06

文章目录

    • FFmpeg 实现音频流抽取
      • 1. 包含FFmpeg头文件与命名空间声明
      • 2. 主函数与参数处理
      • 3. 打开输入文件
      • 4. 获取文件信息
      • 5. 查找音频流
      • 6. 分配输出文件上下文
      • 7. 猜测输出文件格式
      • 8. 创建新的音频流
      • 9. 打开输出文件
      • 10. 写入文件头信息
      • 11. 读取并写入音频数据
      • 12. 写入文件尾部信息并释放资源
    • 运行程序
    • 注意事项
    • 抽取音频完整代码

FFmpeg 实现音频流抽取

1. 包含FFmpeg头文件与命名空间声明

使用FFmpeg库前需要包含相应的头文件，并在C++中声明外部C函数的命名空间。

#ifdef __cplusplus
extern "C" {
#endif
#include <libavformat/avformat.h>
#include <libavutil/avutil.h>
#include <libavutil/log.h>
#ifdef __cplusplus
}
#endif

2. 主函数与参数处理

程序入口点，处理命令行参数。

int main(int argc, char *argv[]) {// 参数检查if (argc < 3) {av_log(nullptr, AV_LOG_INFO, "参数必须多于3个\n");exit(-1);}// 输入输出文件路径char *src = argv[1];char *dst = argv[2];// ...
}

3. 打开输入文件

使用avformat_open_input打开输入文件。
avformat_open_input 是 FFmpeg 库中的一个函数，用于打开输入媒体文件并读取其格式信息。这个函数是 FFmpeg 中处理多媒体文件的基础之一，通常准备解码和处理音视频流。

  1. 函数原型
int avformat_open_input(AVFormatContext **ps, const char *url, AVInputFormat *fmt, AVDictionary **options);

  1. 输入参数

    1. AVFormatContext **ps:

      • 这是一个指向 AVFormatContext 指针的指针。AVFormatContext 是一个结构体，包含了关于输入媒体文件的所有信息，包括流的信息、格式、时长等。
      • 在调用 avformat_open_input 之前，通常需要先分配一个 AVFormatContext 结构体的内存（可以使用 avformat_alloc_context() 函数），然后将其地址传递给该参数。
      • 如果函数成功，*ps 将指向一个已填充的 AVFormatContext 结构体。

    2. const char *url:

      • 这是一个指向字符串的指针，表示要打开的媒体文件的路径或 URL。可以是本地文件路径，也可以是网络流的 URL（如 HTTP、RTSP 等）。

    3. AVInputFormat *fmt:

      • 这是一个指向 AVInputFormat 结构体的指针，表示希望使用的输入格式。如果为 NULL，FFmpeg 将自动检测输入文件的格式。
      • 你可以通过 av_find_input_format 函数来查找特定的输入格式。

    4. AVDictionary *options:

      • 这是一个指向字典的指针，用于传递额外的选项给输入格式。字典中的每个键值对都可以用来设置特定的解码选项，例如缓冲区大小、超时设置等。
      • 如果没有额外的选项，可以将此参数设置为 NULL。

  2. 返回值

  • 函数返回一个整数值：
    • 如果成功，返回 0。
    • 如果失败，返回一个负数，表示错误代码。可以使用 av_strerror 函数将错误代码转换为可读的错误信息。
  1. 示例代码

以下是一个简单的示例，展示如何使用 avformat_open_input 打开一个媒体文件：

#include <libavformat/avformat.h>int main() {AVFormatContext *formatContext = NULL;const char *filename = "input.mp4"; // 输入文件名int ret;// 注册所有的文件格式和编解码器av_register_all();// 打开输入文件ret = avformat_open_input(&formatContext, filename, NULL, NULL);if (ret < 0) {char errbuf[128];av_strerror(ret, errbuf, sizeof(errbuf));fprintf(stderr, "Could not open source file %s: %s\n", filename, errbuf);return ret;}// 打印文件信息av_dump_format(formatContext, 0, filename, 0);// 关闭输入文件avformat_close_input(&formatContext);return 0;
}

avformat_open_input 是 FFmpeg 中用于打开和读取媒体的关键函数。通过正确设置输入参数，可以方便地打开各种格式的音视频文件，并获取其相关信息。

ret = avformat_open_input(&pFmtCtx, src, nullptr, nullptr);
if (ret < 0) {av_log(nullptr, AV_LOG_ERROR, "打开输入文件失败\n");exit(-1);
}

4. 获取文件信息

调用avformat_find_stream_info获取多媒体文件的流信息。
avformat_find_stream_info 是 FFmpeg 库中的一个函数，用于读取媒体文件的流信息（如音频流、视频流、字幕流等）。这个函数通常在成功打开输入文件后调用，以获取有关各个流的详细信息。

  1. 函数原型
int avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options);

  1. 输入参数

    1. AVFormatContext *ic:

      • 这是一个指向 AVFormatContext 结构体的指针，该结构体在调用 avformat_open_input 时被填充。它包含了关于打开的媒体文件的所有信息，包括流的数量、每个流的类型、编解码器信息等。
      • 在调用 avformat_find_stream_info 之前，必须确保已经成功打开了媒体文件并且 AVFormatContext 已经被正确初始化。

    2. AVDictionary **options:

      • 这是一个指向字典的指针，用于传递额外的选项给流信息查找过程。字典中的每个键值对可以用来设置特定的选项，例如解码器的参数、缓冲区大小等。
      • 如果没有额外的选项，可以将此参数设置为 NULL。

  2. 返回值

  • 函数返回一个整数值：
    • 如果成功，返回 0。
    • 如果失败，返回一个负数，表示错误代码。可以使用 av_strerror 函数将错误代码转换为可读的错误信息。

avformat_find_stream_info 函数的主要作用是填充 AVFormatContext 中的流信息，以便后续处理和解码。通过正确设置输入参数，可以有效地获取媒体文件中各个流的详细信息。

if ((ret = avformat_find_stream_info(pFmtCtx, nullptr)) < 0) {av_log(nullptr, AV_LOG_INFO, "获取文件信息失败\n");exit(-1);
}

5. 查找音频流

遍历所有流，找到音频流的索引。

for (int i = 0; i < pFmtCtx->nb_streams; ++i) {if (pFmtCtx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_AUDIO) {idx = i;break;}
}

6. 分配输出文件上下文

使用avformat_alloc_context分配输出文件的格式上下文。

  1. 输入参数
  • 无输入参数：
    • 该函数不需要任何输入参数。
  1. 返回值
  • **返回值：
    • 返回一个指向 AVFormatContext 结构体的指针。
    • 如果内存分配失败，返回 NULL。
  1. 总结
  • 功能：分配并初始化一个新的 AVFormatContext 结构体，用于存储媒体文件的格式信息。
  • 用途：在打开媒体文件之前，通常需要调用此函数以准备好格式上下文。
oFmtCtx = avformat_alloc_context();
if (!oFmtCtx) {av_log(nullptr, AV_LOG_ERROR, "分配输出文件上下文失败\n");goto _ERROR;
}

7. 猜测输出文件格式

使用av_guess_format猜测输出文件的格式。
av_guess_format 是 FFmpeg 库中的一个函数，用于根据给定的文件扩展名或 MIME 类型来猜测媒体文件的格式。这个函数在处理多媒体文件时非常有用，尤其是在需要确定输入或输出格式时。

AVInputFormat *av_guess_format(const char *short_name, const char *filename, const char *mime_type);
  1. 功能
  • 根据文件扩展名：通过提供的文件名的扩展名来猜测媒体格式。
  • 根据 MIME 类型：如果提供了 MIME 类型，可以根据 MIME 类型来猜测格式。
  • 返回相应的格式：返回一个指向 AVInputFormat 结构体的指针，表示猜测的输入格式。如果无法猜测，则返回 NULL。
  1. 参数
  • *const char short_name：短名称（如 “mp4”、“avi” 等），用于直接匹配格式。
  • *const char filename：文件名，通常包含扩展名，用于推断格式。
  • *const char mime_type：MIME 类型字符串（如 “video/mp4”），用于进一步确认格式。
  1. 用途
  • 在打开媒体文件之前，使用 av_guess_format 可以帮助确定合适的输入格式，从而为后续的解码和处理做好准备。
outFmt = av_guess_format(nullptr, dst, nullptr);
oFmtCtx->oformat = outFmt;

8. 创建新的音频流

为输出文件创建一个新的音频流，并复制输入音频流的参数。
avformat_new_stream 函数:

  1. 输入参数

    1. *AVFormatContext s:

      • 指向 AVFormatContext 结构体的指针，表示要在其中添加新流的格式上下文。

    2. *AVCodec c:

      • 指向 AVCodec 结构体的指针，表示新流所使用的编解码器。如果为 NULL，则会使用默认编解码器。

    3. 返回值:

      • 返回一个指向新创建的 AVStream 结构体的指针。如果创建失败，则返回 NULL。

  2. 总结

  • avformat_new_stream 用于在给定的格式上下文中创建一个新的流，并可以指定其使用的编解码器。
outStream = avformat_new_stream(oFmtCtx, nullptr);
avcodec_parameters_copy(outStream->codecpar, inStream->codecpar);
outStream->codecpar->codec_tag = 0;

9. 打开输出文件

使用avio_open2打开输出文件准备写入。
avio_open2 是 FFmpeg 库中的一个函数，用于打开一个 I/O 设备（如文件、网络流等）以进行读写操作。这个函数提供了更灵活的选项来配置打开的方式和行为。

int avio_open2(AVIOContext **s, const char *url, int flags, AVDictionary **options);
  1. 功能
  • 打开 I/O 设备：根据提供的 URL（可以是文件路径或网络地址）打开一个 I/O 设备。
  • 配置选项：允许通过字典传递额外的选项，以定制打开设备的行为。

  1. 输入参数

    1. **AVIOContext s:

      • 指向 AVIOContext 指针的指针，用于返回打开的 I/O 上下文。如果成功，*s 将指向一个已初始化的 AVIOContext 结构体。

    2. *const char url:

      • 指向字符串的指针，表示要打开的设备的 URL（例如文件路径或网络地址）。

    3. int flags:

      • 整数标志，用于指定打开设备的模式。常见的标志包括：
        • AVIO_FLAG_READ：以只读模式打开。
        • AVIO_FLAG_WRITE：以写入模式打开。
        • AVIO_FLAG_READ_WRITE：以读写模式打开。

    4. **AVDictionary options:

      • 指向字典的指针，用于传递额外的选项给打开过程。可以用来设置特定的参数，如超时、缓冲区大小等。如果没有额外的选项，可以将此参数设置为 NULL。

  2. 返回值

  • 函数返回一个整数值：
    • 如果成功，返回 0。
    • 如果失败，返回一个负数，表示错误代码。
  1. 总结
    avio_open2 是用于打开 I/O 设备的关键函数，支持多种打开模式和配置选项，适用于文件和网络流的读写操作。
ret = avio_open2(&oFmtCtx->pb, dst, AVIO_FLAG_WRITE, nullptr, nullptr);
if (ret < 0) {av_log(nullptr, AV_LOG_ERROR, "打开输出文件失败\n");goto _ERROR;
}

10. 写入文件头信息

调用avformat_write_header写入文件头信息。

写入文件头：在输出文件中写入必要的头部信息，以便后续的数据流可以正确地被解析和播放。
初始化输出格式：根据 AVFormatContext 中的信息，设置输出格式并准备写入数据。
输入参数
*AVFormatContext s:

指向 AVFormatContext 结构体的指针，表示要写入的输出格式上下文。该结构体应在调用此函数之前被正确初始化，并且流信息应已设置。
**AVDictionary options:

指向字典的指针，用于传递额外的选项给写入头部的过程。可以用来设置特定的参数，如编码器选项、元数据等。如果没有额外的选项，可以将此参数设置为 NULL。

ret = avformat_write_header(oFmtCtx, nullptr);
if (ret < 0) {av_log(nullptr, AV_LOG_ERROR, "写入文件头失败\n");goto _ERROR;
}

11. 读取并写入音频数据

读取输入文件的音频数据，转换时间戳，并写入输出文件。

while (av_read_frame(pFmtCtx, &pkt) >= 0) {if (pkt.stream_index == idx) {// 转换时间戳等pkt.pts = av_rescale_q_rnd(pkt.pts, inStream->time_base, outStream->time_base, AV_ROUND_NEAR_INF);pkt.dts = pkt.pts;// 写入输出文件av_interleaved_write_frame(oFmtCtx, &pkt);}av_packet_unref(&pkt);
}

12. 写入文件尾部信息并释放资源

写入文件尾部信息，关闭文件，并释放所有分配的资源。

av_write_trailer(oFmtCtx);
avio_close(oFmtCtx->pb);
avformat_free_context(oFmtCtx);_ERROR:// 清理资源if (pFmtCtx) {avformat_free_context(pFmtCtx);#  avformat_close_input(&pFmtCtx);}if (oFmtCtx) {avformat_free_context(oFmtCtx);# avformat_close_input(&oFmtCtx); // 注意：应使用 avformat_free_context 代替}
}

请注意，错误处理部分应使用avformat_free_context代替avformat_close_input来正确释放oFmtCtx资源。另外，程序中存在一些潜在的内存泄漏和错误处理问题，应进一步优化。

运行程序

程序需要传入至少两个参数：输入文件路径和输出文件路径。例如：

./my_ffmpeg_tool input.mp3 output.aac

注意事项

- 确保FFmpeg开发库已正确安装且可链接。
- 检查程序输出的错误信息以进行调试。
- 程序可能需要适当的读取和写入权限。

抽取音频完整代码

cmake_minimum_required(VERSION 3.27)
project(FFmpeg_exercise)
set(CMAKE_CXX_STANDARD 14)# 定义FFmpeg的安装路径变量
set(FFMPEG_INSTALL_DIR "/usr/local/ffmpeg")# 将FFmpeg的头文件目录添加到包含路径
include_directories(${FFMPEG_INSTALL_DIR}/include)# 定义FFmpeg库的基础名称（根据你的需要调整）
set(FFMPEG_LIBS "avcodec;avformat;avutil") # 用分号分隔库名# 寻找并链接FFmpeg库
foreach(FFMPEG_LIB ${FFMPEG_LIBS})find_library(${FFMPEG_LIB}_LIBRARY NAMES ${FFMPEG_LIB}PATHS ${FFMPEG_INSTALL_DIR}/lib NO_DEFAULT_PATH)list(APPEND FFMPEG_LIBRARIES ${${FFMPEG_LIB}_LIBRARY})
endforeach()add_executable(FFmpeg_exercise # main.cppextra_audic.cpp)
# 链接FFmpeg库
target_link_libraries(FFmpeg_exercise ${FFMPEG_LIBRARIES})
//
// Created by 陈伟峰 on 2024/6/22.
//
#ifdef __cplusplus
extern "C" {
#endif
// 包含FFmpeg的头文件
#include <libavformat/avformat.h>
#include <libavutil/avutil.h>
#include <libavutil/log.h>
#ifdef __cplusplus}
#endif
#include <iostream>int main(int argc,char *argv[]){int ret = -1;int idx = -1;//1.处理一些参数；char *src {nullptr};char *dst {nullptr};AVFormatContext *pFmtCtx {nullptr};AVFormatContext *oFmtCtx {nullptr};AVOutputFormat *outFmt {nullptr};AVStream *inStream {nullptr};AVStream *outStream {nullptr};AVPacket pkt {nullptr};//    设置日志级别av_log_set_level(AV_LOG_DEBUG);if(argc<3){av_log(nullptr,AV_LOG_INFO,"arguments must be more than 3\n");exit(-1);}src = argv[1];dst = argv[2];//2.打开输入多媒体文件ret = avformat_open_input(&pFmtCtx,src,nullptr,nullptr);if (ret<0){av_log(nullptr,AV_LOG_ERROR,"avformat_open_input failed\n");exit(-1);}//3.获取多媒体文件信息if ((ret= avformat_find_stream_info(pFmtCtx,nullptr))<0){av_log(nullptr,AV_LOG_INFO,"avformat_find_stream_info failed\n");exit(-1);}//4.遍历所有流，找到音频流for (int i = 0; i < pFmtCtx->nb_streams; ++i) {if (pFmtCtx->streams[i]->codecpar->codec_type==AVMEDIA_TYPE_AUDIO){idx = i;av_log(nullptr,AV_LOG_INFO,"find_stream_info Successed!\n");break;}}if (idx<0){av_log(nullptr,AV_LOG_ERROR,"can not find audio stream\n");exit(-1);}// 打开目的文件上下文oFmtCtx = avformat_alloc_context();if(!oFmtCtx){av_log(nullptr,AV_LOG_ERROR,"avformat_alloc_context failed\n");goto _ERROR;}outFmt = av_guess_format(nullptr,dst,nullptr);oFmtCtx->oformat = outFmt;// 为目的文件，创建一个新的音频流outStream = avformat_new_stream(oFmtCtx,nullptr);// 设置输出音频参数inStream = pFmtCtx->streams[idx];avcodec_parameters_copy(outStream->codecpar,inStream->codecpar);outStream->codecpar->codec_tag = 0;// 绑定ret = avio_open2(&oFmtCtx->pb,dst,AVIO_FLAG_WRITE,nullptr,nullptr);if(ret<0){av_log(nullptr,AV_LOG_ERROR,"avio_open2 failed\n");goto _ERROR;}// 写多媒体文件到目的文件ret = avformat_write_header(oFmtCtx,nullptr);if(ret<0){av_log(nullptr,AV_LOG_ERROR, "error:%s",av_err2str(ret));goto _ERROR;}// 读取输入文件中的音频数据while (av_read_frame(pFmtCtx,&pkt)>=0) {if(pkt.stream_index==idx){// 写入输出文件pkt.pts = av_rescale_q_rnd(pkt.pts,inStream->time_base,outStream->time_base,(AVRounding)(AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));pkt.dts = pkt.pts;pkt.duration = av_rescale_q(pkt.duration,inStream->time_base,outStream->time_base);pkt.stream_index = 0;pkt.pos = -1;av_interleaved_write_frame(oFmtCtx,&pkt);}av_packet_unref(&pkt);}// 写入文件尾av_write_trailer(oFmtCtx);// 释放资源avio_close(oFmtCtx->pb);avformat_free_context(oFmtCtx);_ERROR:if(pFmtCtx){
//        avformat_close_input(&pFmtCtx);avformat_free_context(pFmtCtx);pFmtCtx = nullptr;}if(oFmtCtx){
//        avformat_close_input(&oFmtCtx);avformat_free_context(oFmtCtx);oFmtCtx = nullptr;}
};
  • 执行结果
 ./FFmpeg_exercise demo.mp4 test.aac

image-20240622111917818

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 【HuggingFace Transformers】OpenAIGPTModel的核心——Block源码解析
  • Unity数据持久化 之 向文件流读写（详细Plus版）
  • stdin getc() getchar()
  • js逆向--绕过debugger（一）
  • 欢迎大家评论讨论set_input_transition对path delay的影响
  • HarmonyOS开发实战（ Beta5版）Stack组件实现滚动吸顶效果实现案例
  • 前端登录鉴权——以若依Ruoyi前后端分离项目为例解读
  • 单点登录SSO
  • 大模型推理框架 RTP-LLM 架构解析
  • 《LeetCode 热题 100》
  • 人机环境系统智能与Petri网
  • kubeadm方式升级k8s集群
  • SprinBoot+Vue校园活动报名微信小程序的设计与实现
  • Android的Launch
  • 读懂以太坊源码(3)-详细解析genesis.json
  • 《Java8实战》-第四章读书笔记（引入流Stream）
  • AWS实战 - 利用IAM对S3做访问控制
  • eclipse(luna)创建web工程
  • emacs初体验
  • express如何解决request entity too large问题
  • java中的hashCode
  • Spring核心 Bean的高级装配
  • UMLCHINA 首席专家潘加宇鼎力推荐
  • 电商搜索引擎的架构设计和性能优化
  • 对JS继承的一点思考
  • 工作手记之html2canvas使用概述
  • 后端_ThinkPHP5
  • 猫头鹰的深夜翻译：Java 2D Graphics, 简单的仿射变换
  • 面试总结JavaScript篇
  • 前端临床手札——文件上传
  • 如何编写一个可升级的智能合约
  • 如何使用 JavaScript 解析 URL
  • 使用Tinker来调试Laravel应用程序的数据以及使用Tinker一些总结
  • 写给高年级小学生看的《Bash 指南》
  • 源码之下无秘密 ── 做最好的 Netty 源码分析教程
  • 在GitHub多个账号上使用不同的SSH的配置方法
  • 中文输入法与React文本输入框的问题与解决方案
  • LIGO、Virgo第三轮探测告捷，同时探测到一对黑洞合并产生的引力波事件 ...
  • ​ubuntu下安装kvm虚拟机
  • #每日一题合集#牛客JZ23-JZ33
  • （14）目标检测_SSD训练代码基于pytorch搭建代码
  • （3）STL算法之搜索
  • (TipsTricks)用客户端模板精简JavaScript代码
  • （笔试题）分解质因式
  • （定时器/计数器）中断系统（详解与使用）
  • (回溯) LeetCode 131. 分割回文串
  • （每日一问）计算机网络：浏览器输入一个地址到跳出网页这个过程中发生了哪些事情？（废话少说版）
  • （十二）python网络爬虫（理论+实战）——实战：使用BeautfulSoup解析baidu热搜新闻数据
  • （四）事件系统
  • （推荐）叮当——中文语音对话机器人
  • （五）关系数据库标准语言SQL
  • (原創) 如何優化ThinkPad X61開機速度? (NB) (ThinkPad) (X61) (OS) (Windows)
  • (原創) 是否该学PetShop将Model和BLL分开? (.NET) (N-Tier) (PetShop) (OO)
  • (原創) 物件導向與老子思想 (OO)
  • （转）树状数组