MedicalGPT 训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)

MedicalGPT 训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)。
MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)。

🇨🇳中文 | 🌐English | 📖文档/Docs | 🤖模型/Models

MedicalGPT: Training Medical GPT Model

📖 Introduction

MedicalGPT training medical GPT model with ChatGPT training pipeline, implemantation of Pretraining,
Supervised Finetuning, RLHF(Reward Modeling and Reinforcement Learning) and DPO(Direct Preference Optimization).

MedicalGPT 训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)。

• RLHF training pipeline来自Andrej Karpathy的演讲PDF State of GPT，视频 Video
• DPO方法来自论文Direct Preference Optimization:Your Language Model is Secretly a Reward Model

🔥 News

[2024/01/26] v1.8版本：支持微调Mixtral混合专家MoE模型 Mixtral 8x7B。详见Release-v1.8

[2024/01/14] v1.7版本：新增检索增强生成(RAG)的基于文件问答ChatPDF功能，代码chatpdf.py，可以基于微调后的LLM结合知识库文件问答提升行业问答准确率。详见Release-v1.7

[2023/10/23] v1.6版本：新增RoPE插值来扩展GPT模型的上下文长度；针对LLaMA模型支持了FlashAttention-2和LongLoRA 提出的 $S^2$-Attn；支持了NEFTune给embedding加噪训练方法。详见Release-v1.6

[2023/08/28] v1.5版本: 新增DPO(直接偏好优化)方法，DPO通过直接优化语言模型来实现对其行为的精确控制，可以有效学习到人类偏好。详见Release-v1.5

[2023/08/08] v1.4版本: 发布基于ShareGPT4数据集微调的中英文Vicuna-13B模型shibing624/vicuna-baichuan-13b-chat，和对应的LoRA模型shibing624/vicuna-baichuan-13b-chat-lora，详见Release-v1.4

[2023/08/02] v1.3版本: 新增LLaMA, LLaMA2, Bloom, ChatGLM, ChatGLM2, Baichuan模型的多轮对话微调训练；新增领域词表扩充功能；新增中文预训练数据集和中文ShareGPT微调训练集，详见Release-v1.3

[2023/07/13] v1.1版本: 发布中文医疗LLaMA-13B模型shibing624/ziya-llama-13b-medical-merged，基于Ziya-LLaMA-13B-v1模型，SFT微调了一版医疗模型，医疗问答效果有提升，发布微调后的完整模型权重，详见Release-v1.1

[2023/06/15] v1.0版本: 发布中文医疗LoRA模型shibing624/ziya-llama-13b-medical-lora，基于Ziya-LLaMA-13B-v1模型，SFT微调了一版医疗模型，医疗问答效果有提升，发布微调后的LoRA权重，详见Release-v1.0

[2023/06/05] v0.2版本: 以医疗为例，训练领域大模型，实现了四阶段训练：包括二次预训练、有监督微调、奖励建模、强化学习训练。详见Release-v0.2

😊 Features

基于ChatGPT Training Pipeline，本项目实现了领域模型–医疗行业语言大模型的训练：

• 第一阶段：PT(Continue PreTraining)增量预训练，在海量领域文档数据上二次预训练GPT模型，以适应领域数据分布（可选）
• 第二阶段：SFT(Supervised Fine-tuning)有监督微调，构造指令微调数据集，在预训练模型基础上做指令精调，以对齐指令意图，并注入领域知识
• 第三阶段
  • RLHF(Reinforcement Learning from Human Feedback)基于人类反馈对语言模型进行强化学习，分为两步：
    • RM(Reward Model)奖励模型建模，构造人类偏好排序数据集，训练奖励模型，用来建模人类偏好，主要是"HHH"原则，具体是"helpful, honest, harmless"
    • RL(Reinforcement Learning)强化学习，用奖励模型来训练SFT模型，生成模型使用奖励或惩罚来更新其策略，以便生成更高质量、更符合人类偏好的文本
  • DPO(Direct Preference Optimization)直接偏好优化方法，DPO通过直接优化语言模型来实现对其行为的精确控制，而无需使用复杂的强化学习，也可以有效学习到人类偏好，DPO相较于RLHF更容易实现且易于训练，效果更好

Release Models

演示shibing624/vicuna-baichuan-13b-chat模型效果：

具体case见Inference Examples

▶️ Demo

我们提供了一个简洁的基于gradio的交互式web界面，启动服务后，可通过浏览器访问，输入问题，模型会返回答案。

启动服务，命令如下：

CUDA_VISIBLE_DEVICES=0 python gradio_demo.py --model_type base_model_type --base_model path_to_llama_hf_dir --lora_model path_to_lora_dir

参数说明：

• --model_type {base_model_type}：预训练模型类型，如llama、bloom、chatglm等
• --base_model {base_model}：存放HF格式的LLaMA模型权重和配置文件的目录，也可使用HF Model Hub模型调用名称
• --lora_model {lora_model}：LoRA文件所在目录，也可使用HF Model Hub模型调用名称。若lora权重已经合并到预训练模型，则删除–lora_model参数
• --tokenizer_path {tokenizer_path}：存放对应tokenizer的目录。若不提供此参数，则其默认值与–base_model相同
• --template_name：模板名称，如vicuna、alpaca等。若不提供此参数，则其默认值是vicuna
• --only_cpu: 仅使用CPU进行推理
• --resize_emb：是否调整embedding大小，若不调整，则使用预训练模型的embedding大小，默认不调整

💾 Install

Updating the requirements

From time to time, the requirements.txt changes. To update, use this command:

git clone https://github.com/shibing624/MedicalGPT
cd MedicalGPT
pip install -r requirements.txt --upgrade

Hardware Requirement

🚀 Training Pipeline

Training Stage:

• 提供完整PT+SFT+DPO全阶段串起来训练的pipeline：run_training_dpo_pipeline.ipynb ，其对应的colab(https://colab.research.google.com/github/shibing624/MedicalGPT/blob/main/run_training_dpo_pipeline.ipynb)，运行完大概需要15分钟，我运行成功后的副本colab(https://colab.research.google.com/drive/1kMIe3pTec2snQvLBA00Br8ND1_zwy3Gr?usp=sharing)
• 提供完整PT+SFT+RLHF全阶段串起来训练的pipeline：run_training_ppo_pipeline.ipynb ，其对应的colab：(https://colab.research.google.com/github/shibing624/MedicalGPT/blob/main/run_training_ppo_pipeline.ipynb) ，运行完大概需要20分钟，我运行成功后的副本colab（https://colab.research.google.com/drive/1RGkbev8D85gR33HJYxqNdnEThODvGUsS?usp=sharing)
• 提供基于知识库文件的LLM问答功能（RAG）：chatpdf.py
• 训练参数说明 | 训练参数说明wiki
• 数据集 | 数据集wiki
• 扩充词表 | 扩充词表wiki
• FAQ | FAQ_wiki

Supported Models

The following models are tested:

bloom:

• bigscience/bloomz-560m
• bigscience/bloomz-1b7
• bigscience/bloomz-7b1

llama:

• shibing624/chinese-alpaca-plus-7b-hf
• shibing624/chinese-alpaca-plus-13b-hf
• minlik/chinese-llama-plus-7b-merged
• shibing624/chinese-llama-plus-13b-hf
• decapoda-research/llama-7b-hf
• IDEA-CCNL/Ziya-LLaMA-13B-v1

llama2:

• daryl149/llama-2-7b-chat-hf
• meta-llama/Llama-2-7b-chat-hf
• ziqingyang/chinese-alpaca-2-7b

mistral:

• mistralai/Mistral-7B-v0.1
• HuggingFaceH4/zephyr-7b-beta

chatglm:

• THUDM/chatglm-6b
• THUDM/chatglm2-6b
• THUDM/chatglm3-6b

baichuan:

• baichuan-inc/baichuan-7B
• baichuan-inc/Baichuan-13B-Base
• baichuan-inc/Baichuan-13B-Chat

xverse:

• xverse/XVERSE-13B-Chat

qwen:

• Qwen/Qwen-7B-Chat

yi:

• 01-ai/Yi-6B-200K
• 01-ai/Yi-6B-Chat
• 01-ai/Yi-34B

💻 Inference

训练完成后，现在我们加载训练好的模型，验证模型生成文本的效果。

CUDA_VISIBLE_DEVICES=0 python inference.py \--model_type base_model_type \--base_model path_to_model_hf_dir \--tokenizer_path path_to_model_hf_dir \--lora_model path_to_lora \--interactive

参数说明：

• --model_type {base_model_type}：预训练模型类型，如llama、bloom、chatglm等
• --base_model {base_model}：存放HF格式的LLaMA模型权重和配置文件的目录
• --tokenizer_path {base_model}：存放HF格式的LLaMA模型权重和配置文件的目录
• --lora_model {lora_model}：LoRA解压后文件所在目录，也可使用HF Model Hub模型调用名称。如果已经合并了LoRA权重到预训练模型，则可以不提供此参数
• --tokenizer_path {tokenizer_path}：存放对应tokenizer的目录。若不提供此参数，则其默认值与–base_model相同
• --template_name：模板名称，如vicuna、alpaca等。若不提供此参数，则其默认值是vicuna
• --interactive：以交互方式启动多轮问答，使用流式推理
• --data_file {file_name}：非交互方式启动下，读取file_name中的的内容进行batch预测
• --output_file {file_name}：非交互式方式下，将预测的结果以jsonl格式写入file_name
• --resize_emb：是否调整embedding大小，若不调整，则使用预训练模型的embedding大小，默认不调整
• --only_cpu：仅使用CPU进行推理
• --gpus {gpu_ids}：指定使用的GPU设备编号，默认为0。如使用多张GPU，以逗号分隔，如0,1,2

多卡推理

多卡数据并行，batch推理

CUDA_VISIBLE_DEVICES=0,1 torchrun --nproc_per_node 2 inference_multigpu_demo.py --model_type baichuan --base_model shibing624/vicuna-baichuan-13b-chat

Inference Examples

shibing624/vicuna-baichuan-13b-chat inference examples:

📚 Dataset

医疗数据集

• 240万条中文医疗数据集(包括预训练、指令微调和奖励数据集)：shibing624/medical
• 22万条中文医疗对话数据集(华佗项目)：shibing624/huatuo_medical_qa_sharegpt [本项目支持格式]

通用数据集

Pretraining datasets

• 16GB中英文无监督、平行语料Linly-AI/Chinese-pretraining-dataset
• 524MB中文维基百科语料wikipedia-cn-20230720-filtered

SFT datasets

• 10万条多语言ShareGPT GPT4多轮对话数据集：shibing624/sharegpt_gpt4 [本项目支持格式]
• 9万条英文ShareGPT多轮对话数集：anon8231489123/ShareGPT_Vicuna_unfiltered [本项目支持格式]
• 50万条中文ChatGPT指令Belle数据集：BelleGroup/train_0.5M_CN
• 100万条中文ChatGPT指令Belle数据集：BelleGroup/train_1M_CN
• 5万条英文ChatGPT指令Alpaca数据集：50k English Stanford Alpaca dataset
• 2万条中文ChatGPT指令Alpaca数据集：shibing624/alpaca-zh
• 69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条)：Chinese-Vicuna/guanaco_belle_merge_v1.0
• 5万条英文ChatGPT多轮对话数据集：RyokoAI/ShareGPT52K
• 80万条中文ChatGPT多轮对话数据集：BelleGroup/multiturn_chat_0.8M
• 116万条中文ChatGPT多轮对话数据集：fnlp/moss-002-sft-data
• 3.8万条中文ShareGPT多轮对话数据集：FreedomIntelligence/ShareGPT-CN

Reward Model datasets

• 原版的oasst1数据集：OpenAssistant/oasst1
• 2万条多语言oasst1的reward数据集：tasksource/oasst1_pairwise_rlhf_reward[本项目支持格式]
• 11万条英文hh-rlhf的reward数据集：Dahoas/full-hh-rlhf
• 9万条英文reward数据集(来自Anthropic’s Helpful Harmless dataset)：Dahoas/static-hh
• 7万条英文reward数据集（来源同上）：Dahoas/rm-static
• 7万条繁体中文的reward数据集（翻译自rm-static）liswei/rm-static-m2m100-zh
• 7万条英文Reward数据集：yitingxie/rlhf-reward-datasets
• 3千条中文知乎问答偏好数据集：liyucheng/zhihu_rlhf_3k

⚠️ LICENSE

本项目仅可应用于研究目的，项目开发者不承担任何因使用本项目（包含但不限于数据、模型、代码等）导致的危害或损失。详细请参考免责声明。

Medical项目代码的授权协议为 The Apache License 2.0，代码可免费用做商业用途，模型权重和数据只能用于研究目的。请在产品说明中附加MedicalGPT的链接和授权协议。

😇 Citation

如果你在研究中使用了MedicalGPT，请按如下格式引用：

@misc{MedicalGPT,title={MedicalGPT: Training Medical GPT Model},author={Ming Xu},year={2023},howpublished={\url{https://github.com/shibing624/MedicalGPT}},
}

😍 Contribute

项目代码还很粗糙，如果大家对代码有所改进，欢迎提交回本项目，在提交之前，注意以下两点：

• 在tests添加相应的单元测试
• 使用python -m pytest来运行所有单元测试，确保所有单测都是通过的

之后即可提交PR。

💕 Acknowledgements

• Direct Preference Optimization:Your Language Model is Secretly a Reward Model
• tloen/alpaca-lora
• ymcui/Chinese-LLaMA-Alpaca
• hiyouga/LLaMA-Factory
• dvlab-research/LongLoRA

Thanks for their great work!

关联项目推荐

• shibing624/ChatPDF：基于本地 LLM 做检索知识问答（RAG）
• shibing624/chatgpt-webui：给 LLM 对话和检索知识问答（RAG）提供一个简单好用的Web UI界面