Milvus Backup工具备份集群失败，报输入路径为空错误

问题现象 #

使用最新版Milvus Backup执行集群全量备份时，仅完成少量集合备份即卡住，报错如下，且存储桶中未生成meta目录：

[2024/05/21 00:23:51.409 +00:00] [INFO] [core/backup_impl_create_backup.go:517] ["Begin copy data"] [dbName=misc_db] [collectionName=mld_rscls_USA] [segmentNum=637]
[2024/05/21 00:24:14.357 +00:00] [ERROR] [core/backup_impl_create_backup.go:525] ["Fail to fill segment backup info"] [collection_id=448161342919437791] [partition_id=448161342919437792] [segment_id=448161342941988531] [group_id=0] [error="Get empty input path, but segment should not be empty, milvus/s3-access/insert_log/448161342919437791/448161342919437792/448161342941988531/"] [stack="github.com/zilliztech/milvus-backup/core.(BackupContext).backupCollectionExecute
	/app/core/backup_impl_create_backup.go:525
github.com/zilliztech/milvus-backup/core.(BackupContext).executeCreateBackup.func2
	/app/core/backup_impl_create_backup.go:657
github.com/zilliztech/milvus-backup/internal/common.(WorkerPool).work.func1
	/app/internal/common/workerpool.go:70
golang.org/x/sync/errgroup.(Group).Go.func1
	/go/pkg/mod/golang.org/x/sync@v0.3.0/errgroup/errgroup.go:75"]

排查与解决步骤 #

• 验证存储路径完整性
  登录Milvus的存储后端（如S3），检查报错中指定的路径milvus/s3-access/insert_log/448161342919437791/448161342919437792/448161342941988531/，确认该路径下是否真的无任何文件。若为空，说明Milvus元数据中记录了该segment，但实际存储已丢失，属于数据不一致问题。

• 清理无效segment记录
  使用Milvus CLI或API执行list segments命令，查看该segment的状态。如果是已标记为删除但未清理的僵尸segment，手动清理元数据中的无效记录，确保元数据与实际存储一致。

• 调整Backup配置参数
  检查Milvus Backup的配置文件，确认是否支持跳过空segment的参数。若支持，在启动备份时添加对应参数（如--ignore-empty-segments），避免因单个空segment导致整个备份流程中断。同时确保Backup服务账号对存储后端拥有完整读写权限，防止因权限不足无法读取路径内容。

• 重新执行备份
  删除存储桶中已生成的不完整备份文件，重新触发全量备份。备份完成后检查存储桶是否生成meta目录，确认所有集合都已成功备份。

内容的提问来源于stack exchange，提问作者Reina Wang