GridGain集群升级失败：加入节点基线拓扑与集群不兼容

问题根源 #

强制终止GridGain节点导致集群基线拓扑（BaselineTopology）状态不一致，新版本节点启动时读取持久化存储中残留的旧基线信息，与新集群的基线配置冲突，引发兼容性报错。

解决步骤 #

1. 彻底清理旧节点残留资源 #

确保所有旧版本GridGain Pod完全终止，无异常挂载：

• 强制清除未正常终止的旧节点Pod：

  kubectl delete pod <未正常终止的旧节点Pod名称> --force --grace-period=0
  

• 检查GridGain相关PVC/PV状态，确认无异常挂载：

  kubectl get pvc
  kubectl get pv
  

2. 单节点启动新版本集群并重置基线拓扑 #

• 修改GridGain的StatefulSet/Deployment配置：将副本数设为1，镜像替换为gridgain/community:8.9.5-openjdk17-slim，启动第一个节点。
• 节点启动成功后，进入Pod操作GridGain命令行工具：

  kubectl exec -it <第一个新版本Pod名称> -- bash
  cd /opt/gridgain/bin
  ./ggsh.sh
  

• 在命令行中执行基线重置：

  ALTER CLUSTER DEACTIVATE;
  ALTER CLUSTER RESET BASELINE;
  ALTER CLUSTER ACTIVATE;
  

• 退出命令行，验证集群状态：

  ./control.sh --state
  

  确认输出显示集群已激活，基线拓扑仅包含当前节点。

3. 扩展集群至目标节点数 #

修改StatefulSet/Deployment的副本数为目标数量（如原3节点），等待后续节点启动。新节点会基于重置后的基线拓扑正常加入，不再触发兼容性错误。

4. 验证数据完整性 #

进入任意新版本节点，检查缓存与数据状态：

kubectl exec -it <任意新版本Pod名称> -- /opt/gridgain/bin/control.sh --cache list

确认所有缓存正常加载，数据量符合预期。

后续升级注意事项 #

• 避免强制终止GridGain节点，调整terminationGracePeriodSeconds至合理值（建议300秒以上），让节点正常完成数据持久化与拓扑退出流程。
• 升级前优先备份持久化存储数据，降低异常风险。

内容的提问来源于stack exchange，提问作者Prem