本地部署大模型
模型排行榜：https://www.superclueai.com/
Open WebUI
https://docs.openwebui.com/
Open WebUI 是一种可扩展、功能丰富且用户友好的自托管 WebUI，旨在完全离线运行。它支持各种 LLM 运行器，包括 Ollama 和 OpenAI 兼容的 API。
docker安装
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
LobeChat
https://lobehub.com/zh/docs/usage/start
LobeChat 是一个开源、高性能的聊天机器人框架，支持语音合成、多模态和可扩展的功能调用插件系统
docker安装
$ docker run -d -p 3210:3210 -e OPENAI_API_KEY=sk-xxxx -e ACCESS_CODE=lobe66 --name lobe-chat lobehub/lobe-chat
Ollama
Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。
官网：https://ollama.com/
文档：https://ollama.fan/getting-started/#import-from-gguf
系统环境变量OLLAMA_MODELS，设置存放位置
命令窗口中使用ollama
# 拉取&运行模型（根据服务器配置选择模型）
ollama run qwen2:0.5b
# 查看模型列表
ollama list
# 删除模型
ollama rm qwen2:0.5b