如何用Elasticsearch高效实现搜索结果的聚合汇总？

直接用Elasticsearch的聚合能力在服务端完成统计和筛选，完全替代前端拉取全量数据的低效方式，核心用Terms聚合+Bucket Script/Selector聚合组合实现需求。

核心实现逻辑 #

1. 按document_type做顶级分组，统计每个类型的总文档数
2. 在每个类型分组下，对每个元数据字段做值的频次统计
3. 用脚本计算每个值的出现占比，过滤掉占比低于设定阈值（比如30%）的项

完整查询DSL示例 #

假设你的索引名为your_index，元数据字段为metadata_field_1、metadata_field_2，阈值设为30%，查询DSL如下：

POST /your_index/_search
{
  "size": 0, // 无需返回具体文档，只获取聚合结果
  "query": {
    // 这里替换成你的业务查询条件，比如关键词过滤、时间范围等
    "match_all": {}
  },
  "aggs": {
    "document_type_groups": {
      "terms": {
        "field": "document_type.keyword", // 必须用keyword类型做精确分组
        "size": 1000 // 按需调整，确保覆盖所有document_type
      },
      "aggs": {
        "total_docs": {
          "value_count": {
            "field": "_id" // 统计当前类型的总文档数
          }
        },
        // 处理metadata_field_1的高频值
        "metadata_field_1_values": {
          "terms": {
            "field": "metadata_field_1.keyword",
            "size": 100 // 覆盖所有可能的字段值
          },
          "aggs": {
            "percentage": {
              "bucket_script": {
                "buckets_path": {
                  "count": "_count",
                  "total": "total_docs"
                },
                "script": "(count / total) * 100"
              }
            },
            "filter_high_percentage": {
              "bucket_selector": {
                "buckets_path": {
                  "pct": "percentage"
                },
                "script": "params.pct >= 30" // 阈值设置
              }
            }
          }
        },
        // 处理metadata_field_2的高频值
        "metadata_field_2_values": {
          "terms": {
            "field": "metadata_field_2.keyword",
            "size": 100
          },
          "aggs": {
            "percentage": {
              "bucket_script": {
                "buckets_path": {
                  "count": "_count",
                  "total": "total_docs"
                },
                "script": "(count / total) * 100"
              }
            },
            "filter_high_percentage": {
              "bucket_selector": {
                "buckets_path": {
                  "pct": "percentage"
                },
                "script": "params.pct >= 30"
              }
            }
          }
        }
      }
    }
  }
}

结果处理 #

ES返回的聚合结果中，每个document_type_groups.buckets项对应一个文档类型分组：

• key就是document_type的值
• total_docs.value是该类型的总文档数
• metadata_field_1_values.buckets里的每个key就是占比超过30%的字段值，提取这些key组成数组就是commonality_field_1，同理处理metadata_field_2_values得到commonality_field_2

你可以在后端（比如Java/Python/Node.js）把聚合结果转换成你需要的输出格式，全程不需要拉取任何具体文档。

关键注意事项 #

• 所有用于聚合的字段（document_type、元数据字段）必须有keyword类型的映射，否则无法精确统计
• 如果元数据字段数量较多，可以通过代码批量生成聚合部分，避免重复编写
• 调整terms聚合的size参数，确保不会遗漏可能的类型或字段值
• 若匹配文档量超过百万级，可改用Composite聚合分页获取聚合结果，避免内存溢出

内容的提问来源于stack exchange，提问作者baja_slap