当前位置: 首页 > news >正文

Transformer-XL: Unleashing the Potential of Attention Models

简介

现实远程依赖问题,比如要正确理解文章内容,有时需要阅读多处段落,这对人来说轻松自如。但是,对神经网络来说,远程依赖问题依然是一个挑战。虽然基于门控的RNN(LSTM,GRU等)和梯度裁剪等技术提高了对远程依赖建模的能力,但仍不足以解决问题。
其中一个解决方法就是使用TransformersTransformers允许数据单元直接连接,可以更好的捕获远距离的数据关系。但是,在语音模型中,Transformers一般使用固定长度context实现,即:把文本序列截断为几个固定长度的序列,然后分别单独处理。

clipboard.png

这存在两个问题:

  1. 无法计算超过固定长度的依赖关系。
  2. 序列截断后,造成段落边界破碎,从而造成低效优化,即使是短序列这也是严重问题。

为了解决这些问题,可以尝试使用Transformers-XL模型。Transformers-XL由两种技术构成:Segment-level RecurrenceRelative Positional Encodings。

Segment-level Recurrence

clipboard.png

在训练期间,当模型处理下一个新段落时,将前一个段落的计算表示固定并且缓存以作为重用扩展上下文。此附加连接将最大可能的将依赖性长度增加N倍,其中N是网络的深度,因为上下文信息现在能够跨越段落边界流动。此外,这种重复机制还解决了上下文碎片问题。

Relative Positional Encodings

clipboard.png

clipboard.png

在标准的Transformer中,序列顺序的信息,都是由一组位置编码提供,每一个位置都有绝对的位置信息。但将这个逻辑应用到重用机制中时,会导致性能损失。这个问题的解决思路是,对隐藏状态中的相对位置信息进行编码。从概念上讲,位置编码为模型提供了关于应如何收集信息的时间线索,即应该在哪里介入处理。以相对的方式定义时间线索,将相同的信息注入每层的注意分数,更加直观,也更通用。基于这个思路,可以创建一组相对位置编码,使得重用机制变得可行,也不会丢失任何的时间信息。将相对位置嵌入Transformer之中,并配合重用机制,就得到了Transformer-XL的架构。基于这些改进,Transformer-XL在相关的数据集上都取得了很好的成绩。论文中表示,这是第一个在字符级和单词级建模方面比RNN结果更好的自注意力模型。

总结

Transformer-XL 在几种不同的数据集(大 / 小,字符级别 / 单词级别等)均实现了最先进的语言建模结果。它结合了深度学习的两个重要概念——循环机制和注意力机制,允许模型学习长期依赖性,且可能可以扩展到需要该能力的其他深度学习领域,例如音频分析(如每秒 16k 样本的语音数据)等。

相关文章:

  • 免费小说阅读小程序
  • leetcode378. Kth Smallest Element in a Sorted Matrix
  • Salesforce和SAP Netweaver里数据库表的元数据设计
  • Dojo 表单校验
  • 扩展访问:Uber Lite App开发始末
  • 嵌入式开发教程,学习嵌入式怎么入门和提高?
  • 5G来之前,视频UGC选择产品解决方案?
  • nodejs处理高并发的原理机制
  • 关于List、List?、ListObject的区别
  • 如何合理的规划jvm性能调优
  • 异步
  • 这一次,彻底弄懂TCP三次握手,四次挥手
  • 线程的等待和唤醒
  • js中forEach回调同异步问题
  • 整行读字符串且需分割计算字符串个数
  • JS中 map, filter, some, every, forEach, for in, for of 用法总结
  • (十五)java多线程之并发集合ArrayBlockingQueue
  • 07.Android之多媒体问题
  • JAVA之继承和多态
  • miaov-React 最佳入门
  • rc-form之最单纯情况
  • Solarized Scheme
  • vue中实现单选
  • WinRAR存在严重的安全漏洞影响5亿用户
  • 飞驰在Mesos的涡轮引擎上
  • 高度不固定时垂直居中
  • 关于springcloud Gateway中的限流
  • 开发了一款写作软件(OSX,Windows),附带Electron开发指南
  • 力扣(LeetCode)357
  • 利用jquery编写加法运算验证码
  • 七牛云假注销小指南
  • 云大使推广中的常见热门问题
  • 扩展资源服务器解决oauth2 性能瓶颈
  • 如何在招聘中考核.NET架构师
  • ​​​​​​​ubuntu16.04 fastreid训练过程
  • ​html.parser --- 简单的 HTML 和 XHTML 解析器​
  • ​软考-高级-系统架构设计师教程(清华第2版)【第9章 软件可靠性基础知识(P320~344)-思维导图】​
  • ​油烟净化器电源安全,保障健康餐饮生活
  • (1)安装hadoop之虚拟机准备(配置IP与主机名)
  • (2020)Java后端开发----(面试题和笔试题)
  • (javascript)再说document.body.scrollTop的使用问题
  • (附源码)python旅游推荐系统 毕业设计 250623
  • (个人笔记质量不佳)SQL 左连接、右连接、内连接的区别
  • (免费领源码)python+django+mysql线上兼职平台系统83320-计算机毕业设计项目选题推荐
  • (转) 深度模型优化性能 调参
  • (转)Linux NTP配置详解 (Network Time Protocol)
  • (转)甲方乙方——赵民谈找工作
  • (转载)在C#用WM_COPYDATA消息来实现两个进程之间传递数据
  • (状压dp)uva 10817 Headmaster's Headache
  • .NET 2.0中新增的一些TryGet,TryParse等方法
  • .net core 3.0 linux,.NET Core 3.0 的新增功能
  • .NET Core WebAPI中使用swagger版本控制,添加注释
  • .Net Web项目创建比较不错的参考文章
  • .Net 中Partitioner static与dynamic的性能对比
  • .Net6 Api Swagger配置