基于vllm部署大模型
VLLM（非常大的语言模型）在中文中通常指的是经过大量文本数据训练的神经网络模型，能够理解和生成类似人类语言的文本。这类模型是许多先进AI系统的核心，比如ChatGPT、GPT-4等。
VLLM 可以执行各种任务，如自然语言处理、文本生成、翻译、问答系统等。它们在处理大量数据的情况下表现出色，能够为各种语言应用提供支持。
VLLM官方网址
VLLM官方 github 地址
部署大模型
-
基于agiclass创建算力服务器
-
启动实例
-
打开本地终端，远程连接
ssh -p 40227 root@connect.cqa1.seetacloud.com
移动文件夹
mv Yi-6B-Chat/ /root/autodl-tmp/
启动服务
python -m vllm.entrypoints.openai.api_server --model /root/autodl-tmp/Yi-6B-Chat --trust-remote-code --port 6006
- 启动服务器实例自定义服务
ssh -CNg -L 6006:127.0.0.1:6006 root@connect.cqa1.seetacloud.com -p 40227
本地测试 http://127.0.0.1:6006/ 地址
- 终端访问地址
curl http://127.0.0.1:6006/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "/root/autodl-tmp/Yi-6B-Chat","max_tokens":60,"messages": [{"role": "user","content": "你是谁？"}]}'- 本地pycharm调用
from openai import OpenAI# Modify OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:6006/v1"
client = OpenAI(api_key=openai_api_key,base_url=openai_api_base,
)
completion = client.chat.completions.create(messages = [{"role": "user","content": "你是谁"}],
model="/root/autodl-tmp/Yi-6B-Chat"
)
print(completion.choices[0].message.content)
输出如下
你好！我是零一万物开发的智能助手，我叫 Yi，我是由零一万物的研究团队通过大量的文本数据进行训练的。我旨在为用户提供各种信息查询、文本理解和自然语言处理方面的帮助。如果您有任何问题或需要帮助，请随时告诉我！