AKS混合集群kube-system下omsagent-win Pod持续重启问题求助

排查思路 #

• 先解决资源配置被自动还原的问题
  AKS的内置监控addon的资源配置由Azure托管控制器维护，直接修改kube-system下的omsagent-win Deployment配置会在30分钟左右被控制器覆盖。你需要通过Azure CLI修改addon的持久化配置，示例命令如下：

  az aks enable-addons -a monitoring -n <你的AKS集群名称> -g <AKS所在资源组名称> \
  --set omsagent.windows.resources.limits.cpu=2 \
  --set omsagent.windows.resources.limits.memory=2Gi \
  --set omsagent.windows.resources.requests.cpu=500m \
  --set omsagent.windows.resources.requests.memory=1Gi
  

  可根据实际情况调整资源阈值，修改后配置不会被自动还原。
• 查看容器退出前的具体日志
  执行命令查看omsagent-win容器上次退出前的日志，定位是内部错误、依赖缺失还是网络问题导致的服务异常：

  kubectl -n kube-system logs <omsagent-win异常Pod名称> --previous
  

  重点排查日志中的权限报错、网络连接报错、内存溢出相关记录。
• 检查Windows节点网络连通性
  omsagent-win需要正常访问两个核心端点：Kubernetes APIServer的事件接口、Azure Monitor数据摄入端点。可通过kubectl exec进入运行中的omsagent-win容器，或RDP登录对应的Windows节点，测试443端口连通性：
  • 确认Windows节点NSG没有拦截*.ods.opinsights.azure.com、*.oms.opinsights.azure.com的出站443请求
  • 确认容器内能正常请求Kubernetes APIServer的/api/v1/events接口，没有RBAC权限问题
• 检查存活探测配置合理性
  Windows容器的启动和服务加载速度远慢于Linux容器，默认的omsagent-win存活探测参数可能不符合你的集群实际情况：
  查看omsagent-win Deployment的livenessProbe配置，确认initialDelaySeconds（初始探测延迟）、timeoutSeconds（探测超时时间）、periodSeconds（探测间隔）是否合理，可适当调大初始延迟和超时阈值，避免误判。
• 排查Windows节点本身的问题
  • 检查对应Windows节点的整体CPU、内存负载，确认没有其他业务Pod抢占资源导致omsagent-win资源不足
  • 确认Windows节点的操作系统补丁版本符合AKS v1.21版本的兼容要求，旧补丁版本存在已知的容器运行时兼容性问题会导致托管组件异常
• 排查日志采集规则冲突
  如果你配置了自定义的Windows日志采集规则，可能因为日志量过大、规则匹配错误导致omsagent-win资源耗尽崩溃。可临时禁用自定义采集规则，观察Pod重启现象是否消失。
• 确认omsagent-win镜像版本
  旧版本的omsagent-win存在已知的内存泄漏缺陷，运行一段时间后会因为内存占用过高无法响应探测请求被重启。可检查当前使用的镜像版本，确认是否有更新的稳定版本，重新部署监控addon即可完成版本升级。

内容的提问来源于stack exchange，提问作者Andreas Enti