Minikube/K8s中VictoriaMetrics集群Pod扩缩容与重启的数据复制方案问询

问题本质 #

• 扩容至6副本后新Pod无数据：replicationFactor=5配置限制vminsert仅向5个节点写入数据，新节点未被纳入写入范围，且现有节点不会主动同步历史数据到新节点。
• Pod重建后无数据：要么是PVC绑定异常导致未加载原有持久化数据，要么是vmstorage启动参数未配置正确的数据加载路径，或是数据保留策略导致旧数据已被清理。

针对性解决方案 #

1. 扩容时实现新节点数据一致性 #

• 更新写入副本数：将vminsert的replicationFactor参数从5修改为6，确保新的vmstorage节点能接收后续写入的数据。
• 同步历史数据：
  1. 进入任意一个已有数据的vmstorage Pod，导出历史数据：

     vmctl export -storageDataPath /var/lib/victoria-metrics -outputDir /tmp/vm-history
     

  2. 将导出的数据拷贝到新的vmstorage Pod的存储目录：

     kubectl cp <旧Pod名称>:/tmp/vm-history <新Pod名称>:/var/lib/victoria-metrics/
     

  3. 重启新Pod，使其加载同步完成的历史数据。
• 启用副本自动同步：在所有vmstorage节点的启动参数中添加-enable-sync-replica，开启节点间的数据自动同步能力（需所有节点统一配置）。

2. 保障Pod重建后的数据一致性与留存 #

• 验证PVC绑定状态：执行命令确认重建后的Pod绑定了对应序号的PVC（StatefulSet的PVC命名规则为<PVC模板名>-<StatefulSet名>-<Pod序号>）：

  kubectl get pvc
  

  确保目标PVC状态为Bound，且与Pod正确关联。
• 配置数据留存策略：在vmstorage的启动参数中添加-retentionPeriod=1month，强制数据至少留存1个月，避免因留存时间过短导致重建后数据丢失。
• 确认数据加载路径：在StatefulSet的volumeMounts配置中，确保/var/lib/victoria-metrics目录挂载到对应PVC，同时启动命令中指定-storageDataPath=/var/lib/victoria-metrics，让Pod启动时自动从PVC加载持久化数据。

3. 长期运维规范 #

• 扩容流程调整：先修改replicationFactor参数，再执行vmstorage副本数扩容，避免新节点出现数据断层。
• 定期数据备份：使用vmctl backup命令将vmstorage数据导出到外部存储，作为灾难恢复的兜底方案。
• 监控存储状态：实时跟踪vmstorage的磁盘使用率，避免因磁盘耗尽导致数据写入失败或同步中断。

内容的提问来源于stack exchange，提问作者Akash Prajapati