当前位置： 首页 > news >正文

[学习笔记]刘知远团队大模型技术与交叉应用L4-Prompt-learning Delta-learning

news 来源：原创 2024/5/14 14:29:49

Prompt-Learning and Delta-Tunning

背景和概览

在这里插入图片描述
但是从T5开始，大模型越来越大了。
微调很难了。
在这里插入图片描述

模型的趋势

Model Scaling：模型越来越大
Difficult Tuning：微调越来越难

Prompt-Learning

基本组成与流程介绍

预训练和fine-tuning有一定的gap。毕竟是不同的任务。
在这里插入图片描述
通过额外增加模版。
映射到标签的过程称为verbalizer。
这样就使用了mask任务。弥补了不同之间的gap。
在这里插入图片描述

流程举例

在这里插入图片描述

如何考虑PLM，Template，Verbalizer

PLM

Auto-regressive有更好的生成能力，mask往往放最后
MaskLM有更好的理解能力，mask往往放中间
Encoder-Decoder，mask位置可以随意
在这里插入图片描述

Template

人工构造

在这里插入图片描述
在这里插入图片描述
人为加入规则
在这里插入图片描述

结构化的Template

在这里插入图片描述

多个template整合

在这里插入图片描述

自动template

最终的template可能没有含义，但是work
在这里插入图片描述

Verblizer

把标签映射成标签词的过程。
本质上是如何用模型预测得到的分布，用它完成分类或者生成。
在这里插入图片描述

人为构造

在这里插入图片描述

训练新范式

在这里插入图片描述

应用

在这里插入图片描述

总结

在这里插入图片描述

Delta-Learning

背景与介绍

在这里插入图片描述
大模型有Universal Knowledge，Delta Tuning可以将他激发出来。

Delta Tuning可以分为：增量式、指定式、重参数化
在这里插入图片描述

增量式tuning

Adapter-Tuning

一层Transformer上加两层Adapter。
训练过程中只训练Adapter。可训练的参数量大约是0.5%-8%。
在这里插入图片描述

Prefix-Tuning

在这里插入图片描述

相关文章：

  • Vue 3.0中Treeshaking特性(详细解析)
  • 06 BGP 基础报文状态
  • Dubbo源码解析第一期：如何使用Netty4构建RPC
  • 某马头条——day11+day12
  • CPA学习：会计政策变更和会计估计变更的划分原则
  • Vulnhub靶机：FunBox10
  • Vue内嵌套层级过深，el-input改变值视图无响应
  • 代码随想录二刷——链表day3
  • 深度学习（5）---自注意力机制
  • 响应式Web开发项目教程（HTML5+CSS3+Bootstrap）第2版 例4-11 HTML5 表单验证
  • Python技术栈 —— 一种超时LRU的实现方式
  • 深入了解Figure的结构与层次
  • C++ Qt day2
  • 华硕ASUS K43SD笔记本安装win7X64(ventoy为入口以支撑一盘多系统)；友善之臂mini2440开发板学习
  • Qt文件操作
  • 03Go 类型总结
  • 10个确保微服务与容器安全的最佳实践
  • Brief introduction of how to 'Call, Apply and Bind'
  • canvas 高仿 Apple Watch 表盘
  • canvas 绘制双线技巧
  • CSS进阶篇--用CSS开启硬件加速来提高网站性能
  • js ES6 求数组的交集，并集，还有差集
  • js算法-归并排序（merge_sort）
  • JS字符串转数字方法总结
  • MobX
  • Mocha测试初探
  • SpringBoot几种定时任务的实现方式
  • Synchronized 关键字使用、底层原理、JDK1.6 之后的底层优化以及 和ReenTrantLock 的对比...
  • 基于阿里云移动推送的移动应用推送模式最佳实践
  • 批量截取pdf文件
  • 前端存储 - localStorage
  • 如何用vue打造一个移动端音乐播放器
  • 什么软件可以剪辑音乐？
  • 数据仓库的几种建模方法
  • 数组的操作
  • 我的zsh配置, 2019最新方案
  • 原生js练习题---第五课
  • 阿里云ACE认证之理解CDN技术
  • 扩展资源服务器解决oauth2 性能瓶颈
  • 数据库巡检项
  • ​LeetCode解法汇总307. 区域和检索 - 数组可修改
  • （4）Elastix图像配准：3D图像
  • （C语言）字符分类函数
  • (ResultSet.TYPE_SCROLL_INSENSITIVE,ResultSet.CONCUR_READ_ONLY)讲解
  • （二）构建dubbo分布式平台-平台功能导图
  • （四）鸿鹄云架构一服务注册中心
  • （四）七种元启发算法（DBO、LO、SWO、COA、LSO、KOA、GRO）求解无人机路径规划MATLAB
  • （一）ClickHouse 中的 `MaterializedMySQL` 数据库引擎的使用方法、设置、特性和限制。
  • (原創) 如何刪除Windows Live Writer留在本機的文章? (Web) (Windows Live Writer)
  • .aanva
  • .htaccess配置常用技巧
  • .NET Framework 服务实现监控可观测性最佳实践
  • .NET 简介：跨平台、开源、高性能的开发平台
  • .NET 设计模式初探
  • .NET 设计模式—适配器模式（Adapter Pattern）