当前位置: 首页 > news >正文

【阅读文献】一个使用大语言模型的端到端语音概要

摘要

ssum框架(Speech Summarization)为了 从说话人的语音提出对应的文本二题出。
ssum面临的挑战:

  1. 控制长语音的输入
  2. 捕捉 the intricate cross-mdoel mapping 在长语音输入和短文本之间。

ssum端到端模型框架 使用 Q-Former 作为 语音和文本的中介连接 ,并且使用LLMs从语音特征正确地产生文本。

采取 multi-stage 的训练方法:
包括 基于ASR和TSum(text summarization)任务的LLM 作为 auxiliary 任务。
ASR任务 过去 xxxxx
现在,我们使用一个 循环的学习策略 去部署从TSum 到 SSum 的模型转换。

介绍

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 无法用 FileZilla 传送文件的解决方案
  • AIGC简化文件管理:Python自动重命名Word和PDF文件
  • 配置Microsoft Exchange接受域的详细指南
  • 【数据结构】排序算法系列——序言(附源码+图解)
  • Vue——Diff算法
  • 9.8通宵速通javascript
  • 图论(2)
  • 微信小程序uniappvue3版本-控制tabbar某一个的显示与隐藏
  • jmeter之ForEach控制器使用
  • Java | Leetcode Java题解之第386题字典序排数
  • 高压挑战:新能源汽车换电连接器的技术革新
  • 【机器人工具箱Robotics Toolbox开发笔记(十九)】机器人工具箱Link类函数参数说明
  • 时间同步服务
  • 基于yolov8的焊缝质量好坏系统python源码+onnx模型+评估指标曲线+精美GUI界面
  • JavaScript 知识点总结
  • python3.6+scrapy+mysql 爬虫实战
  • Babel配置的不完全指南
  • const let
  • Dubbo 整合 Pinpoint 做分布式服务请求跟踪
  • js正则,这点儿就够用了
  • Kibana配置logstash,报表一体化
  • nginx(二):进阶配置介绍--rewrite用法,压缩,https虚拟主机等
  • node学习系列之简单文件上传
  • RxJS: 简单入门
  • Yii源码解读-服务定位器(Service Locator)
  • 基于Volley网络库实现加载多种网络图片(包括GIF动态图片、圆形图片、普通图片)...
  • 三分钟教你同步 Visual Studio Code 设置
  • 小李飞刀:SQL题目刷起来!
  • 一些关于Rust在2019年的思考
  • ​必胜客礼品卡回收多少钱,回收平台哪家好
  • #70结构体案例1(导师,学生,成绩)
  • #调用传感器数据_Flink使用函数之监控传感器温度上升提醒
  • #数学建模# 线性规划问题的Matlab求解
  • #我与Java虚拟机的故事#连载09:面试大厂逃不过的JVM
  • $.proxy和$.extend
  • (1) caustics\
  • (10)STL算法之搜索(二) 二分查找
  • (55)MOS管专题--->(10)MOS管的封装
  • (ibm)Java 语言的 XPath API
  • (附源码)springboot 个人网页的网站 毕业设计031623
  • (每日持续更新)jdk api之FileFilter基础、应用、实战
  • (十八)SpringBoot之发送QQ邮件
  • ***原理与防范
  • ..thread“main“ com.fasterxml.jackson.databind.JsonMappingException: Jackson version is too old 2.3.1
  • .net 4.0 A potentially dangerous Request.Form value was detected from the client 的解决方案
  • .net core 3.0 linux,.NET Core 3.0 的新增功能
  • .net core 连接数据库,通过数据库生成Modell
  • .Net Core 中间件验签
  • .NET面试题(二)
  • .NET命名规范和开发约定
  • .NET学习教程二——.net基础定义+VS常用设置
  • .vollhavhelp-V-XXXXXXXX勒索病毒的最新威胁:如何恢复您的数据?
  • @GlobalLock注解作用与原理解析
  • @html.ActionLink的几种参数格式
  • [ vulhub漏洞复现篇 ] AppWeb认证绕过漏洞(CVE-2018-8715)