milvus使用milvus migration工具迁移数据
1.前提：这个数据迁移工具是collection 维度的
2.文章内是2.3.1–》2.4.5数据迁移，公司内部需求，各位看官注意哈
官方架构图：
想要迁移的milvus 官方称之为：源source milvus
要迁入的表
目标的milvus 官方称之为：目标target milvus
安装migration
github地址：https://github.com/zilliztech/milvus-migration
下载下来然后：
1.创建文件夹
2. 解压
tar -xzvf milvus-migration_Linux_x86_64.tar.gz
得到以下的目录
下载模板文件yaml，放入milvus_migration/configs 下，一般命名：migration.yaml
dumper:worker:workMode: milvus2xreader:bufferSize: 500meta:mode: configversion: 2.3.1collection: test_0829 #表名source:milvus2x:endpoint: xxxx(ip):325xx(port)database: xxusername: xxxpassword: xxtarget:milvus2x:endpoint: xxxx:324xxdatabase: xxxusername: xxxpassword: xxx
执行命令
./milvus-migration start --config=/opt/k8s/octopus/milvus_migration/configs/migration.yaml
ok 完成！
由于这个脚本只能单表导入，官网提供了sh 脚本实现 批量导入
batch_collection_migration.sh
#!/bin/bashcollections=("collection1" "collection2" "collection3")for collection in "${collections[@]}"; doecho "BatchMigration==> $collection"./milvus-migration start -t="$collection" -c=/opt/k8s/octopus/milvus_migration/migration.yml
done
看的出来就是shell脚本for 循环执行就行了，但是我的表很多哎，这样一点点写很烦，改一下吧
执行
如果目标 Milvus 中没有与源集合对应的集合，milvus-migration工具会自动创建该集合。注意，迁移后目标集合不会被索引，您需要手动为该集合创建索引。