Milvus 2.4版本数据跨机器迁移导出问题求助

问题描述 #

我需要导出Milvus 2.4版本的数据用于备份，之后迁移到另一台机器。根据文档，milvus-migration工具仅支持1.x版本的迁移，想确认该工具是否支持从2.4版本执行导出操作？

操作时收到错误提示，工具尝试使用元数据库连接参数，似乎需要特定模式来处理无MySQL的Milvus 2.x版本，错误信息如下：

(venv) qa@Ubuntu2204-2f3833:~/MILVUS-MIGRATION/work$ ./milvus-migration export --config=./configs/export_m2m.yaml
[2024/07/24 13:57:06.174 +03:00] [ERROR] [cmd/export.go:46] ["fail to export meta collection, empty meta db connect args"] [stack="github.com/zilliztech/milvus-migration/cmd.init.func1
	/home/qa/MILVUS-MIGRATION/milvus-migration/cmd/export.go:46
github.com/spf13/cobra.(*Command).execute
	/home/qa/go/pkg/mod/github.com/spf13/cobra@v1.8.0/command.go:987
github.com/spf13/cobra.(*Command).ExecuteC
	/home/qa/go/pkg/mod/github.com/spf13/cobra@v1.8.0/command.go:1115
github.com/spf13/cobra.(*Command).Execute
	/home/qa/go/pkg/mod/github.com/spf13/cobra@v1.8.0/command.go:1039
github.com/zilliztech/milvus-migration/cmd.Execute
	/home/qa/MILVUS-MIGRATION/milvus-migration/cmd/root.go:26
main.main
	/home/qa/MILVUS-MIGRATION/milvus-migration/main.go:16
runtime.main
	/snap/go/10660/src/runtime/proc.go:271"]

当前使用的配置文件export_m2m.yaml内容：

dumper:
worker:
limit: 2
workMode: milvus1x
reader:
bufferSize: 1024
writer:
bufferSize: 1024

loader:
worker:
limit: 16

meta:
mode: none

source:
mode: local
local:
tablesDir: /home/qa/MILVUS/milvus/tables/

target:
mode: local
local:
outputDir: /home/qa/MILVUS/milvus/migration/output/
milvus2x:
endpoint: "localhost:19530"
username: xxxx
password: xxxx

解决方案 #

1. 确认milvus-migration对Milvus 2.x的支持
   新版milvus-migration已支持Milvus 2.x版本的导出/迁移，但需要配置正确的工作模式。你的配置中dumper.worker.workMode设为milvus1x，这是触发错误的核心原因。

2. 修正配置文件
   修改配置中的工作模式、元数据模式及源端配置，适配Milvus 2.x架构：

   dumper:
     worker:
       limit: 2
       workMode: milvus2x  # 切换为milvus2x模式
     reader:
       bufferSize: 1024
     writer:
       bufferSize: 1024
   
   loader:
     worker:
       limit: 16
   
   meta:
     mode: milvus  # 通过Milvus接口获取元数据，无需直接连接MySQL
   
   source:
     mode: milvus2x  # 源端设为milvus2x，不再直接读取本地目录
     milvus2x:
       endpoint: "localhost:19530"
       username: xxxx
       password: xxxx
   
   target:
     mode: local
     local:
       outputDir: /home/qa/MILVUS/milvus/migration/output/
   

   说明：

   • 源端通过Milvus 2.x API连接获取数据，而非直接读取本地tables目录
   • 元数据模式设为milvus，工具将通过Milvus接口获取元数据，避免了直接连接元数据库的需求

3. 重新执行导出命令
   保存修正后的配置文件，再次执行导出命令：

   ./milvus-migration export --config=./configs/export_m2m.yaml
   

4. 替代方案（工具版本过旧时）
   如果使用的milvus-migration版本较老不支持2.x模式，可直接使用Milvus官方备份恢复工具：

   • Milvus 2.4自带milvus backup命令行工具，可直接将集群数据备份到本地目录或对象存储
   • 迁移时在目标机器上用milvus restore命令恢复备份数据

内容的提问来源于stack exchange，提问作者rachel song