排查Kubernetes自定义Operator的Reconcile异常触发问题

核心现象匹配说明 #

你观察到的间隔规律和GKE v1.20版本的kube-apiserver默认watch闲置超时（10小时）、controller-runtime默认7分钟阶梯退避重连逻辑完全吻合，优先按以下路径排查： #

排查步骤 #

• 检查Controller监听配置
  查看代码中Controller注册部分的Watches配置，确认仅监听DatabaseService自定义资源和OwnerReference归属该CR的Secret，避免误监听全量集群Secret/ConfigMap资源，导致任意无关资源变更触发全量CR Reconcile。
• 验证资源关联配置
  检查Operator创建的Secret是否正确设置了ownerReferences字段指向对应的DatabaseService CR，关联关系缺失会导致Controller无法匹配资源变更对应关系，触发无效全量Reconcile。
• 确认watch连接状态
  查看Operator Pod运行日志，搜索watch closed、reconnecting关键字，确认是否存在watch连接周期性断开的情况：GKE v1.20.8-gke.2101版本默认将kube-apiserver闲置watch连接的超时时间设置为10小时，连接断开后controller-runtime会按7分钟阶梯退避策略重连，重连时会全量拉取所有CR触发一次Reconcile，和你观察到的两个交替间隔序列完全匹配。
• 检查依赖版本兼容性
  你使用的controller-gen版本为v0.4.1，对应的controller-runtime版本大概率低于v0.9.0，该版本及更早版本在watch重连全量拉取CR时，默认不会比对资源是否实际变更，会直接触发所有CR的Reconcile。

修复方案 #

1. 临时规避：在Controller注册时添加事件过滤器，仅当CR的generation（对应spec变更）或关联Secret发生变更时才触发Reconcile，示例代码：

ctrl.NewControllerManagedBy(mgr).
  For(&operatorv1alpha1.DatabaseService{}).
  Owns(&corev1.Secret{}).
  WithEventFilter(predicate.Or(
    predicate.GenerationChangedPredicate{},
  )).
  Complete(r)

2. 永久修复：将controller-runtime升级到v0.10.0及以上版本，该版本优化了重连逻辑，仅当资源实际发生变更时才会触发Reconcile。

内容的提问来源于stack exchange，提问作者Alechko