当前位置： 首页 > news >正文

大模型学习之书生·浦语大模型6——基于OpenCompass大模型评测

news 来源：原创 2024/5/9 13:10:19

在这里插入图片描述

基于OpenCompass大模型评测

关于评测的三个问题Why/What/How

在这里插入图片描述

Why

在这里插入图片描述
在这里插入图片描述

What

在这里插入图片描述
在这里插入图片描述
有许多任务评测，包括垂直领域

How

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

包含客观评测和主观评测，其中主观评测分人工和模型来评估。

提示词工程

在这里插入图片描述

主流评测框架

在这里插入图片描述

OpenCompass 能力框架

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 模型层
  • 能力层
  • 方法层
  • 工具层

在这里插入图片描述
支持丰富的模型

在这里插入图片描述
评测流水线设计，能切分多个独立执行的任务，最大化利用计算资源。
在这里插入图片描述
大模型能力对比结果输出

前言探索
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
探索性方向涵盖：

  • 多模态
  • 法律
  • 医生

挑战

在这里插入图片描述

实践

创建开发环境和准备数据集

在这里插入图片描述
查看支持的数据集：
在这里插入图片描述

启动评测

客观评测

主要是run.py代码文件
在这里插入图片描述

  • datasets：指定数据集
  • hf-path：模型文件
  • tokenizer-path：tokenizer路径
  • max-seq-len：模型读入的最大长度
  • max-out-len：模型输出的最大长度，客观题设置一般较小
  • –debug：debug模式，打印出所有的过程
    在这里插入图片描述
    在这里插入图片描述
主观评测

主要是eval_sbujective_alignbench.py文件修改，需要注意model，max_out_len等处的修改。
在这里插入图片描述

相关文章：

  • 安卓Spinner文字看不清
  • 基于yolov5-master和pyqt5的森林火灾监测软件
  • Webpack5入门到原理2：基本使用
  • System.Data.SqlClient.SqlException:“在与 SQL Server 建立连接时出现与网络相关的或特定于实例的错误
  • Flash读取数据库中的数据
  • Hovel trump:
  • 第二章第10节：EXCEL ：REPLACE函数 SUBSTITUTE函数
  • GPT帮我快速解决工作上的问题案例
  • Vue-Clipboard3：轻松实现复制到粘贴板功能
  • 前端基础：回顾es6相关知识
  • **PyTorch月学习计划 - 第一周；第6-7天: 自动梯度（Autograd）**
  • docker使用Dockerfile制做容器（以hyperf为列，开机启动）
  • SpiderFlow爬虫平台漏洞利用分析（CVE-2024-0195）
  • 基于双向长短期神经网络的客流量预测，基于bilstm的客流量预测
  • [MySQL]基础的增删改查
  • 【干货分享】SpringCloud微服务架构分布式组件如何共享session对象
  • Android Studio：GIT提交项目到远程仓库
  • bootstrap创建登录注册页面
  • E-HPC支持多队列管理和自动伸缩
  • Invalidate和postInvalidate的区别
  • Laravel Mix运行时关于es2015报错解决方案
  • PHP的Ev教程三(Periodic watcher)
  • python大佬养成计划----difflib模块
  • RxJS: 简单入门
  • Spring Boot快速入门（一）：Hello Spring Boot
  • Synchronized 关键字使用、底层原理、JDK1.6 之后的底层优化以及 和ReenTrantLock 的对比...
  • 给自己的博客网站加上酷炫的初音未来音乐游戏？
  • 基于HAProxy的高性能缓存服务器nuster
  • 码农张的Bug人生 - 初来乍到
  • 深度学习入门：10门免费线上课程推荐
  • 深入 Nginx 之配置篇
  • 微信开放平台全网发布【失败】的几点排查方法
  • 详解NodeJs流之一
  • 优化 Vue 项目编译文件大小
  • 《TCP IP 详解卷1：协议》阅读笔记 - 第六章
  • Nginx惊现漏洞 百万网站面临“拖库”风险
  • ​ 轻量应用服务器：亚马逊云科技打造全球领先的云计算解决方案
  • ​​​​​​​ubuntu16.04 fastreid训练过程
  • ​iOS安全加固方法及实现
  • #NOIP 2014# day.1 T2 联合权值
  • #数学建模# 线性规划问题的Matlab求解
  • (delphi11最新学习资料) Object Pascal 学习笔记---第8章第5节（封闭类和Final方法）
  • （超详细）2-YOLOV5改进-添加SimAM注意力机制
  • （附源码）spring boot球鞋文化交流论坛 毕业设计 141436
  • （附源码）springboot学生选课系统 毕业设计 612555
  • （简单有案例）前端实现主题切换、动态换肤的两种简单方式
  • （四）c52学习之旅-流水LED灯
  • （学习日记）2024.01.19
  • .NET 4 并行（多核）“.NET研究”编程系列之二 从Task开始
  • .NET 4.0中的泛型协变和反变
  • .NET CF命令行调试器MDbg入门（四） Attaching to Processes
  • .NET Core Web APi类库如何内嵌运行？
  • .net Stream篇（六）
  • .NET 设计模式—简单工厂（Simple Factory Pattern）
  • .netcore 获取appsettings