如何从Elasticsearch聚合结果中移除空Bucket？

问题分析 #

你当前使用Watcher的filters聚合指定了三种颜色的过滤条件，但聚合结果会返回所有预设filter对应的Bucket（包括doc_count为0或子聚合为空的），导致遍历动作触发多余次数。之前尝试在filter层级设置min_doc_count无效，因为顶层filters聚合会强制生成每个预设filter的Bucket，子聚合的参数无法逆转这一结果；且不想用post_filter避免性能损耗。

方案一：聚合层级优化（推荐，性能更优） #

直接替换filters聚合为带条件的terms聚合，通过include指定需要筛选的颜色，同时设置min_doc_count直接过滤掉文档数不足的Bucket，从根源上避免空Bucket生成。

修改后的聚合配置如下：

"aggs" : {
  "colours" : {
    "terms" : {
      "field" : "COLOUR",
      "include": ["Red", "Blue", "Yellow"], // 指定需要的颜色值
      "min_doc_count" : 150 // 仅保留文档数≥150的Bucket
    },
    "aggs" : {
      "hex_agg" : {
        "terms" : {
          "field" : "HEX"
        }
      }
    }
  }
}

此方案在查询阶段就完成过滤，返回的colours.buckets只会包含符合条件的颜色Bucket，无需后续处理。

方案二：Watcher动作阶段过滤（适配无法修改聚合结构的场景） #

如果必须保留原filters聚合结构，可在Watcher的actions中添加transform步骤，通过脚本过滤掉不符合条件的Bucket，再遍历处理有效数据。

修改后的Watcher动作配置如下：

"actions": {
  "teams_message" : {
    "transform": {
      "script": """
        def validBuckets = [];
        for (bucket in ctx.payload.aggregations.colours.buckets) {
          // 过滤条件：文档数≥150且子聚合存在有效Bucket
          if (bucket.doc_count >= 150 && !bucket.colour_agg.buckets.isEmpty()) {
            validBuckets.add(bucket);
          }
        }
        return ['valid_buckets': validBuckets];
      """
    },
    "foreach": "ctx.payload.valid_buckets",
    // 此处编写你的消息发送逻辑
    ...
  }
}

该方案在Watcher获取聚合结果后，先过滤出符合要求的Bucket，再执行后续动作，避免无效触发。

关键说明 #

• 原filters聚合的特性是为每个预设的filter生成Bucket，无论是否匹配到数据，所以无法通过子聚合参数移除顶层空Bucket；
• 方案一避免了多余Bucket的生成，减少了数据传输和处理开销，性能更优；
• 方案二无需修改聚合逻辑，仅在Watcher端处理数据，适配特殊场景需求。

内容的提问来源于stack exchange，提问作者extra_peppermint