大模型之基准测试集(Benchmark)-给通义千问2.0做测评的10个权威测基准测评集
引言
在去年(2023)云栖大会上，阿里云正式发布千亿级参数大模型通义千问2.0。据现场介绍，在10个权威测评中，通义千问2.0综合性能超过GPT-3.5，正在加速追赶GPT-4。以下是通义千问在MMLU、C-Eval、GSM8K、HumanEval、MATH等10个主流Benchmark测评集上的表现：
上图可以看出通义千问2.0的得分整体超越META的Llama-2-70B，相比OpenAI的Chat-3.5是九胜一负，相比GPT-4则是四胜六负，与GPT-4的差距进一步缩小
那么问题来了，上图中Benchmark测评集分别是什么？侧重点在哪些方面？
基准测评集介绍
CMMLU
CMMLU是针对中国背景下的大型语言模型的知识和推理能力的评测，由MBZUAI、上海交通大学、微软亚洲研究院共同推出，包含67个主题，专门用于评估语言模型在中文语境下的知识和推理能力。CMMLU是一个涵盖自然科学、社会科学、工程和人文学科等多个学科的综合性中国基准。是国内两大权威评测之一。
- 论文：CMMLU: Measuring massive multitask language understanding in Chinese
- 数据、代码与最新榜单：github.com/haonan-li/C…
MMLU
MMLU(Massive Multitask Language Understanding，大规模多任务语言理解)是一个由Hendrycks等人在《Measuring Massive Multitask Language Understanding》中提出的新基准，旨在通过仅在零样本和少样本设置下评估模型来衡量预训练。
- 官网: paperswithcode.com/dataset/mml…
- 论文： MEASURING MASSIVE MULTITASK LANGUAGE UNDERSTANDING
- 大模型排行榜: paperswithcode.com/sota/multi-…
C-Eva
C-Eval是由清华大学、上海交通大学和爱丁堡大学合作构建的综合性考试评测集，覆盖52个学科，是目前权威的中文AI大模型评测榜单之一。是国内两大权威评测之一。C-Eval是全面的中文基础模型评估套件，涵盖了52个不同学科的13948个多项选择题，分为四个难度级别。
- 论文：C-Eval: A Multi-Level Multi-Discipline Chinese Evaluation Suite for Foundation Models
- 官网：cevalbenchmark.com/
- 网址：github.com/hkust-nlp/c…
- 排行：浏览
GSM8K
GSM8K是由OpenAI发布的大模型数学推理能力评测基准。一个由8.5K高质量的语言多样化的小学数学单词问题组成的数据集（其中7.5K训练集，1K测试集）。这些问题都是由人类写手创造的。每个问题需要2-8步推理来求解，主要是使用基本的算术运算（+-/*)进行一连串的基本计算，以得出最终答案。
GSM8K是两大知名数学推理基准之一，该项测试在2021年10月份发布，至今仍然是非常困难的一种测试基准。
提出背景：像GPT-3这样的大型语言模型有许多令人印象深刻的技能，包括模仿许多写作风格的能力，以及广泛的事实知识。但GPT难以完成需要精确多步骤推理的任务，比如解决小学数学单词问题。为了匹配人类在复杂逻辑领域中的表现，OpenAI使用验证器在许多解决方案中选择了最好的GSM8K, 他们收集了新的GSM8K数据集来评估其方法，并发布该数据集以促进研究。
- 论文：Training Verifiers to Solve Math Word Problems
- 项目：github.com/openai/grad…
- 博客：openai.com/research/so…
Gaokao-Bench
GAOKAO-bench是一个以中国中考试题为数据集，评估大型语言模型的语言理解和逻辑推理能力的评估框架,收集了2010-2022年全国高考卷的题目, 包含1781道选择题、218道填空题和812道解答题。同时评测分为两部分，自动化评测的客观题部分和依赖于专家打分的主观题部分，这两部分结果构成了最终的分数。所有过程的数据和结果都是公开的。
- 官网：github.com/OpenLMLab/G…
- 论文：Evaluating the Performance of Large Language Models on GAOKAO Benchmark
AGIEval
微软发布的大模型基础能力评测基准，在2023年4月推出，主要评测大模型在人类认知和解决问题的一般能力，涵盖全球20种面向普通人类考生的官方、公共和高标准录取和资格考试，包含中英文数据。因此，该测试更加倾向于人类考试结果，涵盖了中英文。
- 论文：AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models
- 数据：github.com/microsoft/A…
MATH
MATH 数学领域的推理和解决问题能力测试, 是UC Berkeley提出的一个用于评估机器学习模型的数学问题解决能力的数据集。MATH与GSM8K类似，但是包含了12500道高中数学竞赛题，每道题都有详细的步骤化解法，可用于教模型生成答案推导和解释。MATH数据集目前对现有模型仍非常具挑战性。
MATH是两大知名数学推理基准之一。
- 项目地址：github.com/hendrycks/m…
- 论文：Measuring Mathematical Problem Solving With the MATH Dataset
BBH
BIG bench hard(BBH) 基准，通过选择大语言模型表现出比人类更差性能的具有挑战性的任务，专注于研究大语言模型目前无法解决的任务。BIG-bench Hard是BIG-bench的一个仅包含目前模型表现无法超过人类的任务子集。
BIG-bench 是一个协作基准，旨在从各个方面调查现有的大语言模型。它包括204项任务，涵盖了广泛的主题，包括语言学、儿童发展、数学、常识推理、生物学、物理学、社会偏见、软件开发等。通过缩放模型大小，大语言模型甚至可以在BIG-bench上65%的任务中，在少样本设置下的平均人类表现
- 论文：Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them
- github: github.com/suzgunmirac…
HumanEval
它用于测量从文档字符串合成程序的功能正确性。它由164个原始编程问题组成，评估语言理解、算法和简单数学，其中一些问题与简单的软件面试问题相当。
- 论文： arxiv.org/abs/2107.03…
- github: github.com/openai/huma…
MBPP
该基准测试由大约1000个众包Python编程问题组成，旨在由入门级程序员解决，涵盖编程基础知识、标准库功能等。每个问题都由任务描述、代码解决方案和3个自动化测试用例组成。主要反映大模型的代码理解和生成任务能力。
- 论文：Program Synthesis with Large Language Models
- github: github.com/…/mbpp
附录
榜单
UC伯克利主导的「LLM排位赛」
LMSYS Org是UC伯克利(University of California,Berkeley)的研究人员发起的一个大语言模型版排位赛！顾名思义，就是让一群大语言模型随机进行battle，并根据它们的Elo得分进行排名。
- 官网：lmsys.org/projects/
- 大语言模型的在线试用与评测：chat.lmsys.org/
该排位赛使用MT-bench作为聊天机器人评估基准。
创始人之一盛颖是之前爆火的、可以在单GPU上可以跑175B模型推理的系统FlexGen的一作，目前已获8k星，她是斯坦福大学计算机科学系的博士生。另外两位是Lianmin Zheng和Hao Zhang。
AlpacaEval
- github: github.com/tatsu-lab/a…
- 榜单：Alpaca Eval Leaderboard
OpenCompass
- 官网：opencompass.org.cn
- 榜单：opencompass.org.cn/leaderboard…
MT-Bench
MT-Bench是一个经过精心设计的基准测试，包含80个高质量的多轮问题。8个主要的类别：写作、角色扮演、提取、推理、数学、编程、知识I（科学技术工程数学）和知识II（人文社科）。其中，每个类别有10个多轮问题，总共160个问题。
下图是LMSYS Org上的2023年榜单上的雷达图:
项目说明如下：
- Writing - 写作
- Humanities - 人类行业
- Roleplay - 角色扮演
- STEM - 理工科任务
- Reasoning - 推理任务
- Extraction - 提取（蒸馏）
- Math - 数学任务
- Coding - 代码任务
MathVista
MathVista由微软发布的全新多模态数学推理基准数据集，同时提供了一份涵盖 112 页的详细评测报告，专注于大型多模态模型的数学推理表现。这一基准测试对于目前最先进的模型，如 GPT-4V，来说也是一项挑战，显示了这些模型在多模态数学问题解决方面的局限性。
- 论文：arxiv.org/abs/2310.02…
- 项目：mathvista.github.io/
- HF数据集：huggingface.co/datasets/AI…
- 数据可视化：mathvista.github.io/#visualizat…
- Leaderboard：mathvista.github.io/#leaderboar…
评测综述的论文：大型语言模型评估综述
- 论文：A Survey on Evaluation of Large Language Models
欢迎提供更多的
如果您也对AI大模型感兴趣想学习却苦于没有方向👀
小编给自己收藏整理好的学习资料分享出来给大家💖
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码关注免费领取【保证100%免费】🆓
👉AI大模型学习路线汇总👈
大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉如何学习AI大模型？👈
作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
一、全套AGI大模型学习路线
AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！
二、640套AI大模型报告合集
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。
