如何在Datadog上配置Kubernetes的ImagePullBackOff告警及恢复告警

针对异常Pod销毁后对应指标停止上报、无法触发恢复通知的问题，可根据你的使用场景选择以下三种落地方式：

• 方案一：调整告警无数据处理规则
  直接修改现有告警的评估配置，找到「无数据（No Data）」处理项，设置为连续N个评估周期无数据则判定为告警恢复，N的取值和告警触发的判定周期保持一致即可（比如告警触发规则为连续2个周期指标大于0即告警，这里就设置为连续2个周期无数据则恢复）。该方案改造成本最低，直接适配你当前的告警配置逻辑。
• 方案二：改用聚合维度的统计指标
  放弃按单个Pod维度做指标告警，改为按集群、命名空间、工作负载维度聚合统计当前处于ImagePullBackOff状态的Pod总数量，告警规则调整为：聚合值>0时触发告警，聚合值=0时触发恢复。该方案下就算异常Pod被销毁，聚合后的统计值会自动降到0，不会出现无数据的场景，告警逻辑更稳定，适合集群通用巡检场景。
• 方案三：切换为Kubernetes事件告警
  不使用Metrics指标作为告警源，直接基于Datadog采集的Kubernetes事件配置告警：当采集到类型为Warning、原因为ImagePullBackOff的事件时触发告警，同时配置告警自动恢复超时规则，比如设置告警触发后1小时内没有新的同类事件上报就自动判定恢复。该方案匹配镜像拉取异常的触发逻辑更精准，完全不受Pod生命周期的影响。

内容的提问来源于stack exchange，提问作者ord_bear