【AI大模型】基于docker部署向量数据库Milvus和可视化工具Attu详解步骤
🚀 作者 ：“大数据小禅”
🚀 文章简介 ：本专栏后续将持续更新大模型相关文章，从开发到微调到应用，需要下载好的模型包可私。
🚀 欢迎小伙伴们 点赞👍、收藏⭐、留言💬
目录导航
- 1 环境准备
- 2 什么是milvus
- 3 什么是auut
- 4 搭建流程
- 5 注意事项-docker镜像问题
- 6 可视化界面Auut
- 7 编码测试是否安装成功
1 环境准备
- 环境参数
- Linux系统- 本文使用阿里云服务器进行演示
- Docker 19.03.15
- Docker Compose
2 什么是milvus
- 概念
- Milvus 是一个开源的向量数据库，专门用于管理、搜索和分析大规模向量数据。适合处理像图像、文本、音频和视频等非结构化数据
- 这些数据通过机器学习或深度学习模型转换为高维向量。
- 用处
- 向量检索
- 结构化和非结构化数据管理
- 大模型知识库RAG
3 什么是auut
- 概念
- “Attu” 是一种用于管理和可视化 Milvus 向量数据库的开源用户界面工具。提供了一种直观的方式来与 Milvus 进行交互，使用户可以更方便地管理和操作存储在 Milvus 中的数据
4 搭建流程
- docker安装：这里不再详细介绍
- docker compose安装
- 使用脚本进行安装，如果网络不行可以先下载好再上传到服务器
sudo curl -L "https://github.com/docker/compose/releases/download/v2.20.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
//给文件添加权限
sudo chmod +x /usr/local/bin/docker-compose
- 验证是否安装成功 docker-compose --version
- Milvus官方搭建流程
- https://milvus.io/docs/install_standalone-docker-compose.md
- 这里主要拉三个镜像
- 安装命令
# Download the configuration file
$ wget https://github.com/milvus-io/milvus/releases/download/v2.4.10/milvus-standalone-docker-compose.yml -O docker-compose.yml# Start Milvus
$ sudo docker compose up -d
- 等待安装完成即可
5 注意事项-docker镜像问题
- 由于一些限制直接使用docker或者docker compose可能会导致镜像拉取失败
- 需要进行配置镜像更新，运行如下命令
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{"registry-mirrors": ["https://docker.m.daocloud.io","https://dockerproxy.com","https://docker.mirrors.ustc.edu.cn","https://docker.nju.edu.cn"]
}
EOF
systemctl daemon-reload
systemctl restart docker
6 可视化界面Auut
- 执行下面的命令
//docker pull zilliz/attu:latest
docker run -d -p 8000:3000 -e MILVUS_URL=[your_ip_address]:19530 zilliz/attu
- 如果使用阿里云记得要开放安全组开放对应的端口
- 输入IP:8000即可访问可视化界面
7 编码测试是否安装成功
- 查看官网文档相关操作
- https://milvus.io/docs/manage_databases.md
- 编写创建数据库代码 链接测试
from pymilvus import connections, dbconn = connections.connect(host="IP", port=19530)database = db.create_database("database_first")- 结果如下，即可
