Milvus重新部署后数据无法加载及Pod异常问题求助

一、清理残留旧Pod与异常资源 #

1. 先确认所有Milvus相关资源状态，执行命令：

   kubectl get pods -n <你的命名空间>
   kubectl get deployments,statefulsets,daemonsets -n <你的命名空间> | grep milvus
   

2. 删除未被新部署关联的旧Pod及对应控制器：
   • 直接删除孤立Pod：kubectl delete pod <旧Pod名称> -n <命名空间>
   • 如果是StatefulSet/Deployment残留，删除对应资源：kubectl delete statefulset/<旧资源名> deployment/<旧资源名> -n <命名空间>
3. 强制清理未正常终止的资源（谨慎使用）：

   kubectl delete pod <旧Pod名称> -n <命名空间> --force --grace-period=0
   

二、修复缺失Pod问题 #

1. 检查Helm部署状态，确认values配置与600天前一致：

   helm get values <milvus-release-name> -n <命名空间>
   

   对比当时的values文件，确保data、query、index等组件的节点数量配置无遗漏。
2. 重新同步Helm部署，强制更新资源：

   helm upgrade <milvus-release-name> milvus/milvus -n <命名空间> -f <你的values文件> --force
   

3. 查看缺失Pod的事件日志，定位启动失败原因：

   kubectl describe pod <缺失Pod名称> -n <命名空间>
   kubectl logs <缺失Pod名称> -n <命名空间>
   

   常见问题包括PVC挂载失败、节点资源不足、镜像拉取错误，针对性修复即可。

三、解决集合无法加载问题 #

1. 确认Milvus核心组件（etcd、minio/pulsar、querynode、datanode）均正常运行：

   kubectl get pods -n <命名空间> | grep -E "etcd|minio|querynode|datanode"
   

2. 检查PVC数据完整性，确认旧数据目录权限正确：

   kubectl exec <minio-pod名称> -n <命名空间> -- ls -l /data
   kubectl exec <datanode-pod名称> -n <命名空间> -- ls -l /var/lib/milvus/data
   

   若权限异常，执行：kubectl exec <pod名称> -n <命名空间> -- chown -R 1000:1000 /var/lib/milvus/data
3. 在Milvus容器中手动触发集合加载：
   进入querynode容器：

   kubectl exec -it <querynode-pod名称> -n <命名空间> -- bash
   

   使用milvus_cli加载集合（替换为你的集合名）：

   milvus_cli
   > connect --host localhost --port 19530
   > load_collection --collection_name <你的集合名>
   

4. 检查etcd元数据是否损坏，若有损坏可尝试从备份恢复（如果有600天前的etcd备份）：

   kubectl exec <etcd-pod名称> -n <命名空间> -- etcdctl snapshot restore <备份文件路径>
   

内容的提问来源于stack exchange，提问作者gayatri