Kubernetes中的主动Singleton与被动热备故障转移

方案1：Deployment + 侧车容器实现Leader选举（无需修改应用） #

这个方案完全不需要改动业务代码，通过给Pod添加负责Leader选举的侧车容器，控制业务Pod是否被Service路由（即是否具备网络连接）。

• 实现步骤：

  1. 定义Deployment，副本数设为2或3（对应热备实例数），每个Pod包含业务容器和Leader选举侧车容器（比如使用k8s.gcr.io/leader-elector:0.5官方镜像，或自行编写Go脚本调用K8s API完成选举）。
  2. 配置侧车容器：Pod当选Leader时，给自身添加自定义标签（如app-role: leader）；落选的被动实例不会拥有该标签，或自动移除标签。
  3. 定义ClusterIP Service，将selector设置为仅匹配带有app-role: leader标签的Pod。只有Leader Pod会被Service路由，被动实例因无标签完全接收不到外部流量。
  4. 配置Liveness探针监控业务容器，当Leader Pod故障时，K8s会重启该Pod，侧车容器重新参与选举，此时其他被动实例中的一个会当选新Leader并自动添加标签，Service将自动路由到新Leader。

• 优势：零业务代码修改，部署简单，故障转移由K8s和侧车自动完成。

• 注意点：侧车容器需要具备修改Pod标签的K8s API权限（如绑定对应ClusterRole）。

方案2：StatefulSet + 标签控制+就绪探针（低改动） #

StatefulSet适合需要稳定网络标识的场景，可利用其有序Pod名称（如kafka-producer-0、kafka-producer-1）实现固定主备逻辑。

• 实现步骤：

  1. 创建StatefulSet，副本数设为2或3，业务容器保持不变。
  2. 编写简单的InitContainer或后台脚本（可打包进业务镜像，或作为独立小容器）：
     • 若Pod是kafka-producer-0，自动添加app-role: leader标签，并让就绪探针返回成功；
     • 其他Pod（kafka-producer-1、kafka-producer-2）默认不添加标签，就绪探针返回失败，K8s不会将它们加入Service端点列表。
  3. 定义Service，同样以app-role: leader为selector。
  4. 添加监控Pod状态的脚本或使用K8s事件触发器：当kafka-producer-0故障被删除或重启时，自动将kafka-producer-1的标签改为leader并让其就绪探针通过，Service自动切换流量到该实例。

• 优势：StatefulSet的Pod有稳定主机名，方便日志或监控追踪；故障转移逻辑可预测。

• 注意点：需要额外脚本或小工具处理Leader故障后的标签切换，选举逻辑按Pod序号固定。

方案3：业务代码集成K8s Leader Election API（按需选择） #

若允许对业务代码做少量修改，可直接使用K8s官方Leader Election SDK（支持Java、Go、Python等语言），无需额外侧车容器。

• 实现步骤：

  1. 在业务代码中集成Leader Election逻辑：启动时尝试抢占K8s ConfigMap或Endpoint作为锁，成功抢占的即为Leader。
  2. Leader实例正常接收API请求并发送Kafka消息；非Leader实例直接拒绝所有请求（或不启动API服务端口，实现无网络连接状态）。
  3. 配置Liveness探针监控Leader状态，当Leader故障时，锁自动释放，其他实例会抢占锁成为新Leader。

• 优势：无需额外容器组件，逻辑更紧凑；适合有定制化需求的场景。

• 注意点：需要修改业务代码，引入K8s客户端依赖。

方案4：使用Kubernetes Operator（进阶方案） #

若集群中有Operator Framework环境，可使用现成的Leader选举Operator（如leader-locker），或自定义简单Operator管理主备实例状态。

• 实现步骤：

  1. 部署Leader选举Operator，它会自动监控指定Deployment/StatefulSet的Pod。
  2. 配置Operator仅允许一个Pod成为Leader，给Leader添加服务标签，其他实例保持被动状态。
  3. 当Leader故障时，Operator自动选举新Leader并更新标签，完成故障转移。

• 优势：可复用性高，适合多服务场景；无需手动管理选举逻辑。

• 注意点：需要Operator的部署和维护成本。

内容的提问来源于stack exchange，提问作者Tim Milstead