Kubernetes Operator如何通过ConfigMap动态配置监听的命名空间

实现方案 #

你当前的问题核心是controller-runtime默认的cache初始化后无法动态调整监听命名空间，下面提供两种落地可行性最高的方案：

方案1：事件过滤器+动态命名空间列表（改造成本最低） #

该方案不需要调整原有Manager初始化逻辑，仅通过事件过滤实现动态监听，适合快速上线需求。

实现步骤

1. 维护线程安全的监听命名空间列表

import "sync"

var (
    watchNamespaces = make(map[string]struct{})
    nsMutex         sync.RWMutex
)

// 更新监听命名空间列表
func updateWatchNamespaces(nsList []string) {
    nsMutex.Lock()
    defer nsMutex.Unlock()
    watchNamespaces = make(map[string]struct{}, len(nsList))
    for _, ns := range nsList {
        ns = strings.TrimSpace(ns)
        if ns != "" {
            watchNamespaces[ns] = struct{}{}
        }
    }
}

// 校验命名空间是否在监听列表
func isWatchedNamespace(ns string) bool {
    nsMutex.RLock()
    defer nsMutex.RUnlock()
    // 列表为空时默认监听所有命名空间，兼容原有逻辑
    if len(watchNamespaces) == 0 {
        return true
    }
    _, ok := watchNamespaces[ns]
    return ok
}

2. 初始化Manager时移除原有的命名空间配置，让cache默认监听所有命名空间

// 删除原有判断WATCH_NAMESPACE设置options.Namespace/options.NewCache的逻辑
mgr, err := ctrl.NewManager(ctrl.GetConfigOrDie(), options)

3. 给你的Druid控制器添加事件过滤器，仅放行监听列表内命名空间的事件

err = ctrl.NewControllerManagedBy(mgr).
    For(&dataplatformv1.Druid{}).
    // 新增事件过滤逻辑
    WithEventFilter(predicate.Funcs{
        CreateFunc: func(e event.CreateEvent) bool {
            return isWatchedNamespace(e.Object.GetNamespace())
        },
        UpdateFunc: func(e event.UpdateEvent) bool {
            return isWatchedNamespace(e.ObjectNew.GetNamespace())
        },
        DeleteFunc: func(e event.DeleteEvent) bool {
            return isWatchedNamespace(e.Object.GetNamespace())
        },
        GenericFunc: func(e event.GenericEvent) bool {
            return isWatchedNamespace(e.Object.GetNamespace())
        },
    }).
    Complete(&dataplatformcontroller.DruidReconciler{
        // 原有Reconciler初始化逻辑保持不变
    })

4. 新增ConfigMap监听逻辑，动态更新命名空间列表

// 提前定义存储配置的ConfigMap的名称和所在命名空间
const (
    configCMName      = "watch-ns-config"
    configCMNamespace = "operator-system"
)

func startConfigWatcher(mgr ctrl.Manager) error {
    cmInformer, err := mgr.GetCache().GetInformer(context.TODO(), &corev1.ConfigMap{})
    if err != nil {
        return err
    }
    // 绑定ConfigMap变更事件处理逻辑
    cmInformer.AddEventHandler(cache.ResourceEventHandlerFuncs{
        AddFunc: func(obj interface{}) {
            cm := obj.(*corev1.ConfigMap)
            if cm.Name == configCMName && cm.Namespace == configCMNamespace {
                nsStr := cm.Data["watch_namespaces"]
                updateWatchNamespaces(strings.Split(nsStr, ","))
            }
        },
        UpdateFunc: func(oldObj, newObj interface{}) {
            oldCm := oldObj.(*corev1.ConfigMap)
            newCm := newObj.(*corev1.ConfigMap)
            if newCm.Name == configCMName && newCm.Namespace == configCMNamespace && 
                oldCm.Data["watch_namespaces"] != newCm.Data["watch_namespaces"] {
                nsStr := newCm.Data["watch_namespaces"]
                updateWatchNamespaces(strings.Split(nsStr, ","))
            }
        },
    })
    return nil
}

5. 在Manager启动前调用配置监听方法，同时兼容原有WATCH_NAMESPACE逻辑

// 启动时先读取环境变量初始化监听列表
initNs := os.Getenv("WATCH_NAMESPACE")
if initNs != "" {
    updateWatchNamespaces(strings.Split(initNs, ","))
}
// 启动ConfigMap监听
if err = startConfigWatcher(mgr); err != nil {
    setupLog.Error(err, "unable to start config watcher")
    os.Exit(1)
}
// 原有Manager启动逻辑保持不变
if err := mgr.Start(ctrl.SetupSignalHandler()); err != nil {
    setupLog.Error(err, "problem running manager")
    os.Exit(1)
}

6. 新增RBAC权限配置，给Operator的ServiceAccount开放配置ConfigMap的监听权限

- apiGroups: [""]
  resources: ["configmaps"]
  verbs: ["get", "list", "watch"]
  resourceNames: ["watch-ns-config"]
  namespaces: ["operator-system"]

方案优缺点

• 优点：实现简单，无组件重启逻辑，无事件丢失风险
• 缺点：Cache会缓存所有命名空间的CR资源，内存占用略高，适合集群规模不大的场景

方案2：动态MultiNamespacedCache（资源占用更低） #

如果集群规模大，需要控制内存占用，可以选择该方案：

1. 实现自定义可重加载的Cache，监听ConfigMap变更时停止旧Cache，用新的命名空间列表构建MultiNamespacedCache
2. 重启所有关联的控制器，绑定新Cache
3. 该方案需要处理组件重启过程中的事件补偿逻辑，改造成本较高，适合资源敏感的生产环境

注意事项 #

• 配置ConfigMap建议放在Operator部署的同命名空间下，做RBAC权限最小化配置
• 可以在ConfigMap变更时加日志埋点，记录监听列表的变更历史，方便排查问题

内容的提问来源于stack exchange，提问作者CSUNNY