如何按Docker实例分组Elastic Stack告警并监测多实例定时任务阻塞

我来帮你搞定这两个Elastic Stack告警配置的问题，都是多实例环境下的常见实战需求：

首先，你得确保日志数据里带了能唯一标识Docker实例的字段——比如container.id或者container.name，这是Elastic Common Schema（ECS）的标准字段，用Filebeat这类工具采集日志时一般会自动加上；要是没有的话，得先调整日志采集配置补上这个字段。

接下来分两种配置方式说明：

• 用基础Watch GUI配置：
  1. 新建Watch时选好对应的日志索引，进入「定义查询」步骤
  2. 添加一个「分组」聚合，选择你的Docker实例字段（比如container.id）作为分组依据
  3. 针对每个分组的结果设置告警条件，比如统计每个实例的特定日志条目数是否达到阈值
• 用高级Watch JSON配置：
  在input.search.request.body.aggs里添加terms聚合，把Docker实例字段作为分组键，同时在子聚合里做你需要的统计（比如计数），示例代码如下：

  "aggs": {
    "docker_instances": {
      "terms": {
        "field": "container.id",
        "size": 100  // 数值根据你实际的Docker实例数量调整
      },
      "aggs": {
        "target_log_count": {
          "count": {}
        }
      }
    }
  }
  

  之后在condition部分，你可以用脚本或者比较逻辑遍历每个分组的统计结果，判断是否触发告警。

你原来的配置只针对单个实例的日志计数，现在要覆盖所有运行任务的Docker实例，核心是要检查每个实例的定时任务日志是否都达标，调整方案如下：

方案1：基础Watch GUI配置 #

1. 第一步先添加分组聚合，选择你的Docker实例字段（比如container.id）作为分组依据
2. 把原来的条件WHEN count() GROUPED OVER top 1 'periodicTaskLog' IS BELOW 1 FOR THE LAST 2 minutes改成：
   WHEN count() GROUPED BY 'container.id' IS BELOW 1 FOR THE LAST 2 minutes
   这里关键是把GROUPED OVER top 1换成GROUPED BY实例字段，这样Watch会逐个检查每个实例的日志计数
3. 告警动作里可以设置把所有不符合条件的实例（也就是任务挂起的实例）都列在告警内容里，方便快速定位问题

方案2：高级Watch JSON配置 #

直接修改Watch的聚合和条件逻辑，确保每个实例的计数都满足要求，示例配置如下：

{
  "trigger": {
    "schedule": {
      "interval": "1m"
    }
  },
  "input": {
    "search": {
      "request": {
        "indices": ["your-log-index-pattern-*"],
        "body": {
          "query": {
            "match": {
              "periodicTaskLog": "your-task-unique-tag"  // 替换成你的定时任务日志标识
            }
          },
          "aggs": {
            "docker_instances": {
              "terms": {
                "field": "container.id",
                "size": 100
              },
              "aggs": {
                "task_log_count": {
                  "count": {}
                }
              }
            }
          }
        }
      }
    }
  },
  "condition": {
    "script": {
      "source": """
        def instances = ctx.payload.aggregations.docker_instances.buckets;
        // 检查是否存在任意实例的日志计数小于1
        return instances.stream().anyMatch(bucket -> bucket.task_log_count.value < 1);
      """
    }
  },
  "actions": {
    "send_alert_email": {
      "email": {
        "to": "your-alert-recipient@example.com",
        "subject": "⚠️ 定时任务挂起告警",
        "body": """
          以下Docker实例的定时任务已停止运行：
          {{#ctx.payload.aggregations.docker_instances.buckets}}
            {{#task_log_count.value < 1}}
              - 实例ID: {{key}} | 最近2分钟日志数: {{task_log_count.value}}
            {{/task_log_count.value < 1}}
          {{/ctx.payload.aggregations.docker_instances.buckets}}
        """
      }
    }
  }
}

这个配置会先按每个Docker实例聚合日志计数，然后用脚本条件判断是否有实例的计数低于1，一旦有就触发告警，同时在邮件里列出所有异常实例，方便你快速排查。

最后提个小注意：一定要确认所有Docker实例的日志都能正常采集到Elasticsearch，并且container.id这类标识字段是准确的，不然分组和告警都会出问题。

内容的提问来源于stack exchange，提问作者Joshua Fox