【书生·浦语大模型实战营06】《OpenCompass 大模型评测》学习笔记
《OpenCompass 大模型评测》
文档：OpenCompass大模型评测教程
1、主观评测
2、提示词工程
李华每周给2个不同的朋友写一封3页的信，一周写两次。他一年总共写了多少页的信?
李华每周给2个不同的朋友写一封3页的信， 一周写两次。他一年总共写了多少页的信。
问题：李华每周给2个不同的朋友写一封3页的信，一 周写两次。他一年总共写了多少页的信？答案：
问题：李华每周给2个不同的朋友写一封3页的信，一周写两次。 他一年总共写了多少页的信？请你一步一步思考。答案：
这是一道数学题，请在“答案”后给出你的回答：李华每周给2个不同的朋友写一封3页的信，一周写两次。他一年总共写了多少页的信？请你一步一步思考。答案：
3、主流大模型评测框架
4、大模型评测练习
在InternStudio平台中选择A100 (1/4) * 2的配置，镜像选择 Cuda11.7-conda；
4.1 激活虚拟环境
conda activate opencompass
4.2 Clone项目代码
git clone https://gitee.com/open-compass/opencompass
4.3 数据集验证
cd opencompass && python run.py --datasets ceval_gen --hf-path /share/temp/model_repos/internlm-chat-7b/ --tokenizer-path /share/temp/model_repos/internlm-chat-7b/ --tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True --model-kwargs trust_remote_code=True device_map='auto' --max-seq-len 2048 --max-out-len 16 --batch-size 4 --num-gpus 1 --debug
4.4 Troubleshooting
（1）评测结果的分数表格中，出现很多数据集没有结果，而且比文档中无结果的数据集条目多很多
“刚开始我们是直接用的之前的机器配置，也就是 A100 (1/4)，显存是20G”。
于是就出现了一个问题如图所示：
可以看到ceval-plant_protection、ceval-basic_medicine和ceval-clinical medicine等数据集都没有评测分数，甚至连后面的metric类型都没有显示出来，而文档中即使没有显示分数的条目也都会显示metric类型，所以我们感觉有点问题；
经过查询资料得知：
“出现许多数据集无评分一般OOM了”。
再次比对视频教程，发现需要使用40G的显存配置；
修改之后，就跟文档中的结果完全一样了：
