当前位置： 首页 > news >正文

书生·浦语大模型全链路开源体系-笔记作业2

news 来源：原创 2024/7/8 1:33:11

全部写成了shell脚本，可以一键执行。

笔记：

1. 环境安装(InternStudio开发机)

# 1. 创建conda环境
studio-conda -o internlm-base -t demo
# 2. 激活conda环境
conda activate demo
# 3. 安装额外的依赖
pip install huggingface-hub==0.17.3
pip install transformers==4.34 
pip install psutil==5.9.8
pip install accelerate==0.24.1
pip install streamlit==1.32.2 
pip install matplotlib==3.8.3 
pip install modelscope==1.9.5
pip install sentencepiece==0.1.99

2. InternLM2-Chat-1.8B 模型下载与运行

按路径创建文件夹，并进入到对应文件目录中：

# 1. 创建项目路径
mkdir -p /root/demo
touch /root/demo/cli_demo.py
touch /root/demo/download_mini.py
cd /root/demo
# 2. 键入脚本内容
echo '
import os
from modelscope.hub.snapshot_download import snapshot_download# 创建保存模型目录
os.system("mkdir /root/models")# save_dir是模型保存到本地的目录
save_dir="/root/models"snapshot_download("Shanghai_AI_Laboratory/internlm2-chat-1_8b", cache_dir=save_dir, revision="v1.1.0")
' > /root/demo/download_mini.py
# 3. 脚本运行，下载模型
python /root/demo/download_mini.py

3. cli_demo运行

# 1. 键入文件内容
echo '
import torch
from transformers import AutoTokenizer, AutoModelForCausalLMmodel_name_or_path = "/root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map="cuda:0")
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map="cuda:0"
)
model = model.eval()system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""messages = [(system_prompt, "")]print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")while True:input_text = input("\nUser  >>> ")input_text = input_text.replace(" ", "")if input_text == "exit":breaklength = 0for response, _ in model.stream_chat(tokenizer, input_text, messages):if response is not None:print(response[length:], flush=True, end="")length = len(response)
' > /root/demo/cli_demo.py
# 2. 激活conda环境
conda activate demo
# 3. 执行脚本
python /root/demo/cli_demo.py

等待模型加载完成，键入内容示例：

请创作一个 500 字而且剧情很反转的小故事

效果如下：（看起来不太反转，/狗头，故事挺不错）

4. cli_demo学习笔记

主要是学习一下cli_demo的流程：

1. 导入必要的库:

transformers: Hugging Face Transformers 库，提供了预训练的自然语言处理模型

AutoTokenizer:

  • 这是 Transformers 库中的一个类,用于自动加载适合输入模型的tokenizer。

  • 它可以根据模型名称或路径自动选择合适的tokenizer类,并初始化该tokenizer。

  • 主要用于将输入文本转换为模型可以理解的数字序列(token ID)。

  • 常见的功能包括:

    • from_pretrained(): 从指定的模型路径加载预训练的tokenizer。

    • encode(): 将输入文本转换为token ID序列。

    • decode(): 将token ID序列转换回文本。

    • pad(): 对输入序列进行填充,使其长度一致。

    • attention_mask: 生成一个注意力掩码,指示哪些部分需要注意。

AutoModelForCausalLM:

  • 这是 Transformers 库中的一个类,用于自动加载适合因果语言模型(Causal Language Model)任务的预训练模型。

  • 它可以根据模型名称或路径自动选择合适的模型类,并初始化该模型。

  • 这种类型的语言模型可以用于生成文本,因为它可以根据之前的输入预测下一个词。

  • 主要用于文本生成、对话系统等任务。

  • 常见的功能包括:

    • from_pretrained(): 从指定的模型路径加载预训练的模型。

    • forward(): 给定输入,返回模型的输出logits。

    • generate(): 基于输入生成新的文本。

    • stream_chat(): 在交互式对话中逐步生成响应。

标记器（tokenizer）: 
详细看这里，huggingface官方解释的很详细：https://huggingface.co/learn/nlp-course/zh-CN/chapter2/4

  • Tokenizer是Transformers库中的一个核心组件,用于将原始文本转换为模型可以理解的数字序列(token ID)。

  • 它负责将文本分割成有意义的词汇单元(token),并将每个token映射到一个唯一的数字ID。

  • 这个过程称为"tokenization",是使用预训练语言模型的关键步骤之一。

设置系统提示 (system prompt):

  • system_prompt: 这是一个字符串，定义了 InternLM 助手的身份和属性。它会在对话开始时被传递给模型。

初始化消息列表:

  • messages = [(system_prompt, "")]: 将系统提示作为第一条消息初始化消息列表。

开始聊天循环:

  • while True: 进入一个无限循环，直到用户输入 "exit" 退出。

  • input_text = input("\nUser >>> "): 等待用户输入消息。

  • input_text = input_text.replace(" ", ""): 去除用户消息中的空格。

  • if input_text == "exit": break: 如果用户输入 "exit"，则退出循环。

  • length = 0: 初始化响应长度为 0。

  • for response, _ in model.stream_chat(tokenizer, input_text, messages):: 使用模型生成响应。stream_chat 函数会逐步生成响应文本。

  • if response is not None: print(response[length:], flush=True, end=""): 打印响应中新生成的部分。flush=True 确保立即输出，end="" 避免换行。

  • length = len(response): 更新已输出的响应长度。

作业

4. 实战1：部署实战营优秀作品 八戒-Chat-1.8B 模型

a. 环境搭建
# 1. clone项目
cd /root/
git clone https://gitee.com/InternLM/Tutorial -b camp2
# git clone https://github.com/InternLM/Tutorial -b camp2
cd /root/Tutorial
# 2. 下载模型
python /root/Tutorial/helloworld/bajie_download.py
# 3. 启动模型
streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006
b. 本地连接端口，进行本地浏览器访问
# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374
# 按照下面步骤，更改端口号，填入密码。

c. 跟八戒对话
我是猴哥，你是谁

5. 实战2：使用 Lagent 运行 InternLM2-Chat-7B 模型

Lagent 是一个开源的 LLM 智能体框架，允许使用者快速将一个大语言模型转换成智能体，并提供一些典型工具来激发大语言模型的潜能。Lagent 框架图如下：

Lagent 包含三个主要模块：agents，llms 和 actions。

  • agents 实现了多种智能体，如 ReAct，AutoGPT。
  • llms 支持多种大语言模型，包括在 HuggingFace 上托管的开源模型（Llama-2, InterLM）及 GPT3.5/4 等闭源模型。
  • actions 包含一系列工具，并提供工具执行器来统一管理。
a. 环境搭建，项目下载与部署
conda activate demo
cd /root/demo
git clone https://gitee.com/internlm/lagent.git
# git clone https://github.com/internlm/lagent.git
cd /root/demo/lagent
git checkout 581d9fb8987a5d9b72bb9ebd37a95efd47d479ac
pip install -e . # 源码安装
b. 使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体

Intern Studio 在 share 文件中预留了实践章节所需要的所有基础模型，包括 InternLM2-Chat-7b 、InternLM2-Chat-1.8b 等等。我们可以在后期任务中使用 share 文档中包含的资源，但是在本章节，为了能让大家了解各类平台使用方法，还是推荐同学们按照提示步骤进行实验。

cd /root/demo/lagent
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b
sed -i 's/internlm\/internlm2-chat-20b/\/root\/models\/internlm2-chat-7b/gi' /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py
streamlit run /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py --server.address 127.0.0.1 --server.port 6006
c. 同4.2章节，本地连接端口进行访问
# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374
d. 运行程序

输入：请解方程 X^2=81 之中 X 的结果

运行结果：

6. 实战3：实践部署 浦语·灵笔2 模型

创建图文并茂的文章，遥遥领先。

a. 初步介绍 XComposer2 相关知识

浦语·灵笔2 是基于 书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色，总结起来其具有：

  • 自由指令输入的图文写作能力： 浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。
  • 准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。
  • 杰出的综合能力： 浦语·灵笔2-7B 基于 书生·浦语2-7B 模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V 和 Gemini Pro。

b. 配置基础环境
# 激活环境，安装依赖包
conda activate demo
# 补充环境包
pip install timm==0.4.12 sentencepiece==0.1.99 markdown2==2.4.10 xlsxwriter==3.1.2 gradio==4.13.0 modelscope==1.9.5# 克隆项目
cd /root/demo
git clone https://gitee.com/internlm/InternLM-XComposer.git
# git clone https://github.com/internlm/InternLM-XComposer.git
cd /root/demo/InternLM-XComposer
git checkout f31220eddca2cf6246ee2ddf8e375a40457ff626# 创建软链
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b /root/models/internlm-xcomposer2-vl-7b# 运行程序
cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_composition.py  \
--code_path /root/models/internlm-xcomposer2-7b \
--private \
--num_gpus 1 \
--port 6006
c. 同4.2章节，本地连接端口进行访问

运行程序执行到这里后再进行ssh连接

# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374
d. 运行程序

输入：

根据以下标题：“中国水墨画：流动的诗意与东方美学”，创作长文章，字数不少于800字。请结合以下文本素材：
“水墨画是由水和墨调配成不同深浅的墨色所画出的画，是绘画的一种形式，更多时候，水墨画被视为中国传统绘画，也就是国画的代表。也称国画，中国画。墨水画是中国传统画之一。墨水是国画的起源，以笔墨运用的技法基础画成墨水画。线条中锋笔，侧锋笔，顺锋和逆锋，点染，擦，破墨，拨墨的技法。墨于水的变化分为五色。画成作品，题款，盖章。就是完整的墨水画作品。
基本的水墨画，仅有水与墨，黑与白色，但进阶的水墨画，也有工笔花鸟画，色彩缤纷。后者有时也称为彩墨画。在中国画中，以中国画特有的材料之一，墨为主要原料加以清水的多少引为浓墨、淡墨、干墨、湿墨、焦墨等，画出不同浓淡（黑、白、灰）层次。别有一番韵味称为“墨韵”。而形成水墨为主的一种绘画形式。”

运行结果：

7. 实战4：图片理解

Ctrl+C终止上面程序，继续输入指令，启动 InternLM-XComposer2-vl：

conda activate democd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_chat.py  \
--code_path /root/models/internlm-xcomposer2-vl-7b \
--private \
--num_gpus 1 \
--port 6006

打开 http://127.0.0.1:6006 (上传图片后) 键入内容示例如下：

请分析一下图中内容

实践效果如下图所示：

相关文章：

  • 设计模式——结构型模式——责任链模式
  • vue 引用第三方库 Swpier轮播图
  • Low Memory Killer in Android
  • Python 学习笔记【1】
  • 内网渗透-在HTTP协议层面绕过WAF
  • 【学习笔记】计算机组成原理（九+十）
  • c++------类和对象（下）包含了this指针、构造函数、析构函数、拷贝构造等
  • 联想R9000p游戏本常用快捷键
  • Next前端是什么
  • 本地知识库开源框架Fastgpt、MaxKB产品体验
  • 深度学习复盘与论文复现A
  • 文件批量改后缀名，轻松实现TXT到DOCX格式转换，高效管理您的文件库！
  • rman 备份集没有control file的恢复
  • HCP；IDA；ABIDE（孤独症）磁共振数据库下载
  • webserver服务器从零搭建到上线（六）｜Timestamp类和InetAddress类
  • 分享的文章《人生如棋》
  • 【从零开始安装kubernetes-1.7.3】2.flannel、docker以及Harbor的配置以及作用
  • classpath对获取配置文件的影响
  • extract-text-webpack-plugin用法
  • JavaScript 基本功--面试宝典
  • MySQL用户中的%到底包不包括localhost?
  • PHP的Ev教程三(Periodic watcher)
  • text-decoration与color属性
  • Vue ES6 Jade Scss Webpack Gulp
  • 阿里云ubuntu14.04 Nginx反向代理Nodejs
  • 百度贴吧爬虫node+vue baidu_tieba_crawler
  • 编写符合Python风格的对象
  • 第三十一到第三十三天：我是精明的小卖家（一）
  • 官方解决所有 npm 全局安装权限问题
  • 基于阿里云移动推送的移动应用推送模式最佳实践
  • 解决iview多表头动态更改列元素发生的错误
  • 浅谈web中前端模板引擎的使用
  • 关于Android全面屏虚拟导航栏的适配总结
  • ​​快速排序（四）——挖坑法，前后指针法与非递归
  • ​2021半年盘点，不想你错过的重磅新书
  • ​马来语翻译中文去哪比较好？
  • #git 撤消对文件的更改
  • #pragma multi_compile #pragma shader_feature
  • #宝哥教你#查看jquery绑定的事件函数
  • #常见电池型号介绍 常见电池尺寸是多少【详解】
  • （14）学习笔记：动手深度学习（Pytorch神经网络基础）
  • （4）STL算法之比较
  • (Matlab)基于蝙蝠算法实现电力系统经济调度
  • （SpringBoot）第二章：Spring创建和使用
  • (几何:六边形面积)编写程序，提示用户输入六边形的边长，然后显示它的面积。
  • （六）激光线扫描-三维重建
  • （每日持续更新）信息系统项目管理（第四版）（高级项目管理）考试重点整理第3章 信息系统治理（一）
  • (区间dp) (经典例题) 石子合并
  • (轉貼)《OOD启思录》：61条面向对象设计的经验原则 (OO)
  • .360、.halo勒索病毒的最新威胁：如何恢复您的数据？
  • .NET CORE Aws S3 使用
  • .NET Standard、.NET Framework 、.NET Core三者的关系与区别？
  • .NET 服务 ServiceController
  • .NET 使用 ILMerge 合并多个程序集，避免引入额外的依赖
  • .net 重复调用webservice_Java RMI 远程调用详解，优劣势说明