大模型本地化部署2-Docker部署MaxKB
大模型本地化部署2-Docker部署MaxKB
- 0、MaxKB简介
- 1、安装docker
- 2、在docker中拉取MaxKB镜像
- 3、运行镜像
- 4、访问MaxKB
- 5、创建应用
- 6、使用应用进行对话
0、MaxKB简介
MaxKB是一款基于LLM大预言模型的知识库问答系统。具有以下特点：
- 多模型支持：支持对接主流的大模型，包括本地私有大模型（如Llama 2）、Azure OpenAI、百度千帆、阿里通义千问大模型等；
- 开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化、智能问答交互体验好；
- 无缝嵌入：支持零编码快速嵌入到第三方业务系统。
1、安装docker
docker的安装不在此讲解，假设您已经安装好了docker环境。我本地电脑是Windows11，采用的WLS的方式，就是在应用商店中安装了Ubuntu20.4，在Ubuntu20.4中安装的docker环境，使用时先启动docker服务，如下图：
2、在docker中拉取MaxKB镜像
首先通过以下命令搜索都有那些maxkb镜像：
docker search maxkb
执行如下下图：
然后通过以下命令拉取maxkb镜像
docker pull 1panel/maxkb
如果提示网络未响应，可以改为以下命令尝试最新镜像
docker pull cr2.fit2cloud.com/1panel/maxkb
执行如下图：
3、运行镜像
拉取镜像完毕后，运行一个容器实例，如下：
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb
执行结果如下图：
4、访问MaxKB
启动maxkb容器实例后，就可以在本机打开浏览器，在地址栏输入以下地址进行访问：
http://localhost:8080
运行效果如下图：
默认登录信息
用户名：admin
默认密码：MaxKB@123…
进入系统后会提示修改默认密码，如下图所示：
然后输入自己的新密码保存。
5、创建应用
点击下图中的创建应用
根据提示填写相关信息
其中AI模型选择，添加模型，在弹出选择供应商界面中选择Ollama，如下图：
在添加Ollama模型时填写相应信息，如下图所示：
其中“基础模型”，如果下拉列表中没有你要用的模型，可以直接输入，只要名字对就行，如果ollama还没有安装这个模型，就会自动下载。
其中“API域名”，要填写ollama服务器的IP地址:11434
注意需要关闭windows下的专用网络防火墙，就是能在wsl2中能ping通ollama服务器的ip地址，或者能telnet登录上ollama服务器IP地址 11434。否则会提示API域名无效。
填写应用信息完毕后如下图：
然后点击“创建”按钮，就可以在应用列表中看到这个应用，如下图：
6、使用应用进行对话
点击应用下面的演示按钮，就可以打开对话界面了，如下图：
点击演示后，出现新页面，如下图：
这样就可以进行知识问答了，如下图：
在问答的过程中，可以看到GPU的使用情况。
