Terraform配置Datadog日志告警监控无法恢复问题咨询

问题背景 #

需求为配置Datadog日志告警：15分钟内同一@context.userId出现10条及以上含"Hello"的日志时触发告警，当该用户15分钟内无相关日志时自动恢复告警。

当前Terraform配置如下：

resource "datadog_monitor" "default" {
  count   = 1
  name    = "Monitor Name"
  type    = "log alert"
  message = "Check alert"

  query = "logs(\"Hello\").index(\"*\").rollup(\"count\").by(\"@context.userId\").last(\"15m\") >= 10"

  monitor_thresholds {
    critical          = 10
    critical_recovery = 1
  }

  escalation_message   = "Check alert - No data"
  on_missing_data      = "default"
  timeout_h            = 0
  renotify_interval    = 120
  renotify_occurrences = 0
  renotify_statuses = [
    "alert",
    "warn",
  ]

  new_group_delay     = "60"
  require_full_window = false
  enable_logs_sample  = true
}

告警触发正常，但当某个@context.userId无相关日志时，监控仍保留该用户上次的count值（≥1），无法触发告警恢复。按文档说明，on_missing_data="default"对count类查询应返回0，但实际未生效。

问题原因 #

1. 分组查询的结果特性：使用by("@context.userId")按用户ID分组后，当某个用户ID在15分钟窗口内无日志时，该分组不会出现在查询结果集中，而非返回count=0。
2. on_missing_data的作用范围：该参数仅处理整个查询无任何结果的场景，而非单个分组的数据缺失。因此单个分组消失不会触发on_missing_data的0值逻辑，监控会保留该分组上次的数值状态。
3. 恢复阈值的匹配条件：当前critical_recovery=1要求数值降到1以下才恢复，但缺失的分组不会生成≤1的数值，自然无法触发恢复。

解决方案 #

1. 修改查询语句，添加fill(0)填充缺失分组 #

修改query字段，在by("@context.userId")后添加fill(0)，确保无数据的分组会返回count=0：

query = "logs(\"Hello\").index(\"*\").rollup(\"count\").by(\"@context.userId\").fill(0).last(\"15m\") >= 10"

fill(0)会强制保留所有曾经出现过的分组，并将无数据的分组count填充为0，这样监控就能识别到该分组的数值已低于恢复阈值（0 < 1），从而触发告警恢复。

2. 确认恢复阈值配置 #

当前monitor_thresholds中的critical_recovery=1设置合理，配合fill(0)正好满足“无数据时（count=0）恢复告警”的需求，无需调整。

3. 验证窗口配置 #

require_full_window = false的设置正确，无需等待15分钟窗口完全结束即可计算实时数据，符合告警的及时性要求。

验证方法 #

修改配置后，触发某个用户ID的告警，然后停止该用户的日志输出，等待15分钟后查看监控状态，确认是否自动恢复为正常状态。

内容的提问来源于stack exchange，提问作者ThePalo