当前位置： 首页 > news >正文

LLM Agent发展演进历史（观看metagpt视频笔记）

news 来源：原创 2024/7/2 3:25:49

LLM相关的6篇重要的论文，其中4篇来自谷歌，2篇来自openai。技术路径演进大致是：SSL (Self-Supervised Learning) -> SFT (Supervised FineTune) == IT (Instruction Tuning) -> RLHF。
word embedding的问题：新词如何处理，新词的embedding如何表征；但LLM根据token或字做输出的方式，很大程度上可以解决这个问题。
在这里插入图片描述
在这里插入图片描述

在谷歌有很大的机器资源去调用，使得BERT有机会做成大模型；BERT出来后，NLP之前所有的trick都失效了；BERT证明了大模型这条路是可行的。
在这里插入图片描述

Openai是把所有资源都集中到LLM这一件事情上，集中所有资源于一点，这就是战略选择。
在这里插入图片描述

Instruction tuning非常重要，带来了范式的转化。
[图片]

RLHF将模型毒性从40%降低到0.6%。
[图片]

GPT3.5 turbo，据业界推测，是个20-30B的蒸馏版本模型
[图片]

[图片]

GPT有可能会开源，如果是这样，LLM水平面上升，可能会淹没其它很多开源模型。
[图片]

什么是智能体？智能体= LLM + 记忆 + 规划 + 工具 + 神经 + 直觉
[图片]

Agent需要有硬件支持，是一个全新的物种。暴露度：编程是63.4%，所以编程在很大程度上也是可被替代的。
[图片]

langchain的设计比较糟糕，复杂度太高了；违背了单接口原则。
[图片]

更关注MMLU榜单：https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu
[图片]
[图片]

数据结构和API设计图，有较高价值；LLM具有很强的信息收集、处理能力。一个200w人民币架构师的工作，有可能花几美元就解决。
[图片]

人类在这里主要扮演投资者。
[图片]

相关文章：

  • python读取excel数据 附实战代码
  • 剑指offer 背包问题求具体方案
  • python接口自动化测试（单元测试方法）
  • 【UE5.1 MetaHuman】使用mixamo_converter把Mixamo的动画重定向给MetaHuman使用
  • Android多进程和跨进程通讯方式
  • 频谱论文：面向频谱地图构建的频谱态势生成技术研究
  • oracle aq java jms使用（数据类型为XMLTYPE）
  • 使用AppleScript自动滚动预览
  • 关于“Python”的核心知识点整理大全26
  • 【数据结构】八大排序之直接插入排序算法
  • 正则表达式入门与实践
  • C 库函数 - time()
  • 06 Rust 枚举类
  • dapper使用Insert或update时部分字段不映射到数据库
  • 什么是Symbol？在实际开发中怎么用？
  • [rust! #004] [译] Rust 的内置 Traits, 使用场景, 方式, 和原因
  • ABAP的include关键字，Java的import, C的include和C4C ABSL 的import比较
  • angular2 简述
  • CentOS6 编译安装 redis-3.2.3
  • crontab执行失败的多种原因
  • JAVA SE 6 GC调优笔记
  • JavaScript 无符号位移运算符 三个大于号 的使用方法
  • JavaScript-Array类型
  • LintCode 31. partitionArray 数组划分
  • MySQL主从复制读写分离及奇怪的问题
  • Promise初体验
  • SpiderData 2019年2月23日 DApp数据排行榜
  • ucore操作系统实验笔记 - 重新理解中断
  • vue 配置sass、scss全局变量
  • vue-router 实现分析
  • 从零开始在ubuntu上搭建node开发环境
  • 基于Dubbo+ZooKeeper的分布式服务的实现
  • 基于游标的分页接口实现
  • 理清楚Vue的结构
  • 前端知识点整理（待续）
  • 什么软件可以剪辑音乐？
  • 使用common-codec进行md5加密
  • 数据库写操作弃用“SELECT ... FOR UPDATE”解决方案
  • 跳前端坑前，先看看这个！！
  • 一个6年java程序员的工作感悟，写给还在迷茫的你
  • 一个普通的 5 年iOS开发者的自我总结，以及5年开发经历和感想！
  • ​DB-Engines 12月数据库排名： PostgreSQL有望获得「2020年度数据库」荣誉?
  • ​LeetCode解法汇总307. 区域和检索 - 数组可修改
  • #Linux杂记--将Python3的源码编译为.so文件方法与Linux环境下的交叉编译方法
  • #pragma multi_compile #pragma shader_feature
  • $.ajax()方法详解
  • (13)Hive调优——动态分区导致的小文件问题
  • （173）FPGA约束：单周期时序分析或默认时序分析
  • （2024，LoRA，全量微调，低秩，强正则化，缓解遗忘，多样性）LoRA 学习更少，遗忘更少
  • （k8s中）docker netty OOM问题记录
  • （SpringBoot）第二章：Spring创建和使用
  • (三)mysql_MYSQL(三)
  • （十八）用JAVA编写MP3解码器——迷你播放器
  • （四）TensorRT | 基于 GPU 端的 Python 推理
  • (译) 理解 Elixir 中的宏 Macro, 第四部分：深入化