什么是GKE集群中sysctl-monitor上报的NodeSysctlChange节点事件？

事件含义 #

该警告事件由 node-problem-detector 的 sysctl-monitor 组件上报，代表节点的内核 sysctl 配置发生了和初始化基线不一致的变更。

常见触发原因 #

• GKE 节点池配置更新：修改节点池自定义内核参数、节点OS版本滚动更新时，GKE会自动调整节点sysctl配置，触发事件上报
• 集群特权 workload 修改参数：集群内部署的特权DaemonSet（如网络插件、安全加固组件、监控组件）有权限修改节点内核参数，操作后会触发该事件
• 节点本地操作变更：节点上运行的自定义定时任务、管理员手动修改sysctl配置，也会触发事件
• 基线配置未对齐：如果sysctl变更是预期操作，但node-problem-detector记录的基线仍为旧配置，会持续上报警告

排查处理方案 #

1. 确认变更是否为预期操作 #

登录异常节点执行 sysctl -a 导出当前所有内核参数，和预期配置对比：

若确认变更是合法的预期操作，可直接更新node-problem-detector的sysctl监控基线，或者关闭对应节点的非必要sysctl监控规则，消除告警。

2. 排查非预期变更来源 #

• 检查集群内所有特权模式运行的DaemonSet、Pod的运行日志，确认是否存在修改sysctl的逻辑
• 查看GKE控制台的节点池操作记录，确认近期是否有节点配置更新、OS版本升级操作
• 登录节点查看系统日志、定时任务配置，排查是否有本地进程主动修改内核参数

3. 修复异常问题 #

如果是非法非预期的参数变更，先回滚sysctl配置到合规值，再排查并终止异常进程，同时收紧集群特权Pod的部署权限，避免未授权的参数修改操作。

内容的提问来源于stack exchange，提问作者Mugen