CloudWatch中pod_number_of_container_restarts指标始终为0的排查求助

首先明确核心逻辑：你使用的kubectl -n Namespace123 rollout restart deployment test123命令，本质是销毁原有Pod并创建全新Pod实例，而pod_number_of_container_restarts统计的是同一个Pod生命周期内，容器重启的总次数。新创建的Pod初始状态下容器重启次数为0，所以查询结果始终为0是符合指标逻辑的，并非配置问题。

如果要验证该指标是否正常工作，可以尝试以下操作：

• 手动重启现有Pod内的容器：比如执行kubectl exec -n Namespace123 <目标Pod名称> -- pkill <容器内主进程名>，触发容器在原有Pod内重启，之后再查询指标就能看到数值增长。
• 触发容器自动重启：修改容器的健康检查规则，让容器因检查失败被kubelet自动重启，同样能让指标生效。

如果怀疑配置存在异常，可做以下排查：

• 检查CloudWatch Agent状态：确认集群中amazon-cloudwatch命名空间下的Agent Pod均处于Running状态，无异常日志。
• 核对指标维度与查询范围：
  • 该指标属于容器级维度，查询时可加入ContainerName字段，提升定位精准度；
  • 确保查询时间范围覆盖容器重启的时间点，Container Insights指标采集通常有1-5分钟延迟，避免选择过短的时间窗口。
• 直接在CloudWatch指标浏览器验证：进入CloudWatch控制台，找到ContainerInsights -> ClusterName -> Namespace -> PodName -> ContainerName路径下的pod_number_of_container_restarts指标，确认是否有数据点生成。

内容的提问来源于stack exchange，提问作者jipot