如何正确创建每日触发一次的Azure Pod错误日志告警？

一、KQL查询优化与每日仅触发一次告警的实现 #

你当前用于检测Failed状态Pod的KQL查询如下：

KubePodInventory
| where TimeGenerated between (now(-24h) .. now())
| where ClusterName == 'mycluster'
| where Namespace == 'mynamespace'
| where Name startswith "myjobname"
| where PodStatus == 'Failed'
| where ContainerStatusReason == 'Completed' //or 'Error' or doesn't matter? (there are duplicated entries, one with Completed and one with Error)
| order by TimeGenerated desc

关于ContainerStatusReason的疑问 #

因为存在重复条目（一条标记为Completed，一条为Error），如果要覆盖所有Failed状态的Pod，建议去掉| where ContainerStatusReason == 'Completed'这一行，或者改为同时包含两种状态：

| where ContainerStatusReason in ('Completed', 'Error')

这样不会遗漏任何符合Failed状态的Pod记录。

实现每日仅触发一次告警 #

要实现当日存在至少一条符合条件的记录时仅触发一次告警，需从两方面调整：

1. 修改KQL查询：按日期聚合，确保每天仅返回一条匹配结果（若当天存在符合条件的记录）

KubePodInventory
| where TimeGenerated between (startofday(now()) .. now()) // 仅查询当天日志
| where ClusterName == 'mycluster'
| where Namespace == 'mynamespace'
| where Name startswith "myjobname"
| where PodStatus == 'Failed'
| where ContainerStatusReason in ('Completed', 'Error')
| summarize hasFailedPod = count() > 0 by bin(TimeGenerated, 1d) // 按天聚合，判断当天是否有失败Pod
| where hasFailedPod == true

2. 配置告警规则触发条件：
   • 在告警规则的「触发条件」中，设置基于结果数，当结果数大于0时触发。
   • 进入「高级选项」设置抑制规则：选择「按时间抑制」，抑制时长设为24小时。这样当天触发一次后，24小时内不会重复触发。

二、日志告警的评估频率说明 #

Azure Monitor日志告警分两种类型，评估逻辑不同：

• 日志搜索告警：这是你当前使用的类型，它是按固定频率轮询的。评估频率可在创建/编辑告警规则时设置：在「创建规则」的「条件」步骤中，展开「高级选项」，就能看到「评估频率」和「查询时间范围」的设置项。如果之前没找到，建议重新编辑告警规则查看。
• 基于日志的指标告警：这类会将日志数据转换为指标，按指标采集频率评估，不适用你的场景。

你之前误以为有新日志条目就触发评估，大概率是因为轮询频率设置较高，新日志产生后很快被检测到，但本质仍是固定频率的轮询机制。

内容的提问来源于stack exchange，提问作者igorjrr