如何解决K8s自定义Controller主备切换期间的事件丢失问题

针对你用Kubebuilder实现的Pod控制器在主备实例切换时的事件丢失问题，可以通过以下几种方式解决：

• 启用主动释放Lease配置
  当前代码中LeaderElectionReleaseOnCancel被注释，取消注释开启该配置：

  mgr, err := ctrl.NewManager(ctrl.GetConfigOrDie(), ctrl.Options{
      Scheme:                  scheme,
      MetricsBindAddress:      metricsAddr,
      Port:                    9443,
      HealthProbeBindAddress:  probeAddr,
      LeaderElection:          enableLeaderElection,
      LeaderElectionID:        defaultLeaderElectionId,
      LeaderElectionNamespace: config.Namespace,
      Namespace:               config.Namespace,
      LeaderElectionReleaseOnCancel: true, // 取消注释启用
  })
  

  该配置让主实例退出时主动释放Lease，无需等待Lease自然过期，大幅缩短备实例的接管时间，减少事件丢失的窗口。只要你的控制器在Manager停止后没有额外的清理操作，这个配置是安全的，符合Kubebuilder脚手架的默认场景。

• 缩短工作队列重同步周期
  控制器默认的重同步周期是10小时，调整为更短的时间（比如3分钟），让控制器定期全量拉取监听的Pod对象并重新加入工作队列处理，即使切换期间有事件遗漏，重同步也能补上：

  err = (&controllers.PodReconciler{
      Client: mgr.GetClient(),
      Scheme: mgr.GetScheme(),
  }).SetupWithManager(mgr, controller.Options{
      ResyncPeriod: 3 * time.Minute, // 设置自定义重同步周期
  })
  

  注意确保你的Reconcile逻辑是幂等的，重复处理同一个Pod不会引发异常。

• 依赖控制器启动时的全量列表查询
  控制器启动时默认会先执行一次List操作，获取所有符合条件（Queue命名空间、带router标签）的Pod对象，备实例接管后会自动触发这次全量查询，相当于补全切换期间的Pod状态变化。只要你的Reconcile逻辑能正确处理Pod的当前状态，就能覆盖切换期间产生的事件。

• 优化Lease时间参数
  调整LeaderElection的相关时间参数，缩短主实例故障的检测时间：

  import "k8s.io/client-go/tools/leaderelection"
  
  mgr, err := ctrl.NewManager(ctrl.GetConfigOrDie(), ctrl.Options{
      Scheme:                  scheme,
      MetricsBindAddress:      metricsAddr,
      Port:                    9443,
      HealthProbeBindAddress:  probeAddr,
      LeaderElection:          enableLeaderElection,
      LeaderElectionID:        defaultLeaderElectionId,
      LeaderElectionNamespace: config.Namespace,
      Namespace:               config.Namespace,
      LeaderElectionReleaseOnCancel: true,
      LeaderElectionConfig: &leaderelection.LeaderElectionConfig{
          LeaseDuration: 10 * time.Second, // Lease有效期
          RenewDeadline: 7 * time.Second,  // 主实例必须在此时间内续租
          RetryPeriod:   2 * time.Second,  // 备实例尝试获取Lease的间隔
      },
  })
  

  这些参数的调整能让备实例更快检测到主实例故障并接管，进一步缩小事件丢失的时间窗口。

内容的提问来源于stack exchange，提问作者Ashutosh Pandey