使用FastChat快速部署LLM服务
原文：https://zhuanlan.zhihu.com/p/705915093
FastChat 是一个用于训练、服务和评估基于LLM的聊天机器人的开放平台，它的核心功能包括：
- 最先进模型（例如 Vicuna、MT-Bench）的训练和评估代码。
- 具有 Web UI 和与 OpenAI 兼容的 RESTful API 的分布式多模型服务系统。
准备工作
创建虚拟环境
为了避免潜在的依赖冲突，创建单独的虚拟环境用于FastChat部署。
# initiate virtual environment
python -m venv .venv
# activate virtual environemnt
source .venv/bin/activate
# upgrade `pip`
pip install -U pip安装FastChat
FastChat有pip安装和源码安装两种方式，这里采用pip方式安装：
pip install "fschat[model_worker,webui]" -i https://pypi.tuna.tsinghua.edu.cn/simple如运行时报缺少accelerate的错误，请通过pip install accelerator 安装。
安装vLLM（可选）
为了获得更好的推理性能，推荐使用vLLM作为后端来加速推理。
pip install vllm -i https://pypi.tuna.tsinghua.edu.cn/simple下载LLM
从modelscope下载本次演示的模型glm-4-9b-chat，下载命令如下：
git lfs installgit clone https://www.modelscope.cn/ZhipuAI/glm-4-9b-chat.git使用FastChat部署LLM
为了能够通过 Web 和 SDK 访问 LLM 服务，需要在服务器上部署以下 FastChat 的组件：
- Controller
- Worker
- Gradio Web Server
- OpenAI API Server
启动 Controller
python -m fastchat.serve.controller --host 0.0.0.0默认端口为21001，可通过--port指定。--host参数是设置服务的主机地址，这里设置为0.0.0.0，表示可以通过任何地址访问。
启动vLLM Worker
python -m fastchat.serve.vllm_worker --model-path /path/to/local_model --host 0.0.0.0默认端口为21002，可通过--port指定。FastChat 的 Worker 会向 Controller 注册自身，并通过心跳机制保持连接。若没有安装vLLM后端，可通过下面的命令直接启动model_work:
python -m fastchat.serve.model_worker --model-path /path/to/local_model --host 0.0.0.0
默认使用单GPU时，memory溢出。修改启动命令： python -m fastchat.serve.vllm_worker --model-path /path/to/glm-4-9b-chat --host 0.0.0.0 --num-gpus 4 指定4块GPU。
启动 OpenAI API Server
python -m fastchat.serve.openai_api_server --host 0.0.0.0服务启动后，默认端口是 8000，可以通过--port参数来修改端口。
使用OpenAI SDK
使用 FastChat OpenAI API Server 的端点初始化
import os
from langchain.chat_models import ChatOpenAIos.environ["OPENAI_API_BASE"] = 'http://localhost:8000/v1'
os.environ["OPENAI_API_KEY"] = 'na'llm = ChatOpenAI(model='glm-4-9b-chat', temperature=0)测试简单问答
result = llm.invoke("介绍下你自己")
print(result.content)
在RAG实现中应用
# ----------------------------------------------------------- #
import torch
from langchain.document_loaders import PyPDFLoader
from langchain import PromptTemplate
from langchain import HuggingFacePipeline
from langchain.vectorstores import Chroma
from langchain.retrievers import BM25Retriever, EnsembleRetriever
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.schema.runnable import RunnablePassthrough
from langchain.schema.output_parser import StrOutputParser
from transformers import AutoModelForCausalLM, AutoTokenizer, pipelineimport os
from langchain.chat_models import ChatOpenAI
# ----------------------------------------------------------- #
os.environ["OPENAI_API_BASE"] = 'http://localhost:8000/v1'
os.environ["OPENAI_API_KEY"] = 'na'
llm = ChatOpenAI(model='glm-4-9b-chat', temperature=0)
# ----------------------------------------------------------- #
embed_path = "/path/to/bge-large-zh-v1.5"
embeddings = HuggingFaceEmbeddings(model_name=embed_path,model_kwargs={"device": "cuda"},encode_kwargs={"normalize_embeddings": True},
)
# ----------------------------------------------------------- #
loader = PyPDFLoader("/path/to/data/中华人民共和国证券法(2019修订).pdf")
documents = loader.load_and_split()text_splitter = RecursiveCharacterTextSplitter(separators=['。'], chunk_size=512, chunk_overlap=32)
texts_chunks = text_splitter.split_documents(documents)
texts_list = [text.page_content for text in texts_chunks]
# ----------------------------------------------------------- #
bm25_retriever = BM25Retriever.from_texts(texts_list)
bm25_retriever.k = 2vectorstore = Chroma.from_documents(texts_chunks, embeddings, persist_directory="db")
chroma_retriever = vectorstore.as_retriever(search_kwargs={"k": 2})
ensemble_retriever = EnsembleRetriever(retrievers=[bm25_retriever, chroma_retriever], weights=[0.5, 0.5])
# ----------------------------------------------------------- #
template = """你是一名智能助手，可以根据上下文回答用户的问题。已知内容：
{context}问题：
{question}
"""
prompt = PromptTemplate.from_template(template)
chain = ({"question": RunnablePassthrough(), "context": ensemble_retriever}| prompt| llm| StrOutputParser()
)
# ----------------------------------------------------------- #
query = "公司首次公开发行新股，应当符合哪些条件？"
result = chain.invoke(query)
print(result)
关闭服务
关闭所有服务
python -m fastchat.serve.shutdown_serve --down all关闭 Controller
python -m fastchat.serve.shutdown_serve --down controller关闭 Model Worker
python -m fastchat.serve.shutdown_serve --down model_worker关闭 OpenAI API Server
python -m fastchat.serve.shutdown_serve --down openai_api_server杀死所有服务
kill -9 $(pgrep -f fastchat)