internvl-chat部署
简介
InternVL1.5是一个开源的视觉模型，效果接近gpt-4v
github地址：https://github.com/OpenGVLab/InternVL
体验地址：https://internvl.opengvlab.com/
安装
官方推荐使用LMDeploy进行安装：https://lmdeploy.readthedocs.io/zh-cn/latest/get_started.html
可以直接从官方镜像启动：docker pull openmmlab/lmdeploy:v0.4.2
也可以用cuda12的镜像进行pip install安装：
# 基于pytorch镜像
docker pull pytorch/pytorch:2.2.2-cuda12.1-cudnn8-runtime
export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple
pip install timm
# pip install torchvision==0.17.2
pip install lmdeploy -i https://pypi.tuna.tsinghua.edu.cn/simple# 下载模型
mkdir -p /data/huggingface
export HF_HUB_CACHE=/data/huggingface
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download OpenGVLab/InternVL-Chat-V1-5启动
# 启动openAI兼容的接口
# --backend {pytorch,turbomind} 默认turbomind
lmdeploy serve api_server OpenGVLab/InternVL-Chat-V1-5 --server-port 80
# 控制台交互对话
lmdeploy chat OpenGVLab/InternVL-Chat-V1-5
# webui对话，基于gradio
lmdeploy serve gradio OpenGVLab/InternVL-Chat-V1-5