Elasticsearch聚合分桶后提取桶内字段构造父请求实现方案

你现有按parentRequestId做terms聚合的思路是正确的，问题出在没有在聚合桶内补充子聚合提取关联字段。结合你提到的「同一父请求下所有子请求的parentId/state/requesterId完全一致」的业务规则，不需要做复杂的去重计算，直接在每个parentRequestId聚合桶内取任意一条子请求的对应字段，即可组装出需要的父请求实体。

方案选择 #

优先选top_hits子聚合实现，逻辑最直观，代码维护成本低；如果单索引数据量超过千万级，可替换为双terms子聚合方案，纯靠doc_values计算性能更优。

方案1：top_hits子聚合（推荐） #

top_hits聚合支持返回每个聚合桶内的前N条文档，你可以设置只返回需要的3个字段，不取全量文档降低传输开销。

原生ES查询DSL示例（筛选state=FL场景）

GET sub-request/_search
{
  "size": 0,
  "query": {
    "term": {
      "state": "FL"
    }
  },
  "aggs": {
    "parent_group": {
      "terms": {
        "field": "parentRequestId",
        "size": 10000
      },
      "aggs": {
        "parent_info": {
          "top_hits": {
            "size": 1,
            "_source": {
              "includes": ["parentRequestId", "state", "requesterId"]
            }
          }
        }
      }
    }
  }
}

返回结果中每个parent_group桶下的parent_info.hits.hits[0]._source就包含构造Request需要的全部字段，和你预期的测试结果完全匹配。

方案2：terms子聚合（大数据量场景用） #

在parentRequestId的terms桶下，分别对state、requesterId做size=1的terms聚合，因为同桶下这两个字段只有唯一值，直接取聚合结果的第一个key即可，不需要读取文档_source，性能更高。对应DSL核心片段：

"aggs": {
  "parent_group": {
    "terms": {
      "field": "parentRequestId",
      "size": 10000
    },
    "aggs": {
      "group_state": { "terms": { "field": "state", "size": 1 } },
      "group_requester": { "terms": { "field": "requesterId", "size": 1 } }
    }
  }
}

Java客户端实现（Spring Data Elasticsearch，适配你用的7.x版本ES） #

前置修正：你的SubRequest实体类中parentId字段没有指定ES字段映射名，实际索引中字段为parentRequestId，需要补全注解避免字段匹配失败：

@Field(type = FieldType.Keyword, name = "parentRequestId")
private String parentId;

完整实现代码：

import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.bucket.terms.Terms;
import org.elasticsearch.search.aggregations.metrics.TopHits;
import org.elasticsearch.search.fetch.subphase.FetchSourceContext;
import org.springframework.data.elasticsearch.core.ElasticsearchRestTemplate;
import org.springframework.data.elasticsearch.core.SearchHits;
import org.springframework.data.elasticsearch.core.query.NativeSearchQuery;
import org.springframework.data.elasticsearch.core.query.NativeSearchQueryBuilder;
import java.util.ArrayList;
import java.util.List;

// 提前注入ES操作模板
// @Autowired
// private ElasticsearchRestTemplate elasticsearchRestTemplate;

public List<Request> listDistinctParentRequests(State filterState) {
    List<Request> result = new ArrayList<>();

    // 构造查询与聚合
    NativeSearchQuery query = new NativeSearchQueryBuilder()
            .withQuery(QueryBuilders.termQuery("state", filterState.name()))
            .addAggregation(
                    AggregationBuilders.terms("parent_group")
                            .field("parentRequestId")
                            .size(10000) // 按业务中符合条件的父请求最大量级调整，默认值10会导致结果遗漏
                            .subAggregation(
                                    AggregationBuilders.topHits("parent_info")
                                            .size(1)
                                            .fetchSource(new FetchSourceContext(
                                                    true,
                                                    new String[]{"parentRequestId", "state", "requesterId"},
                                                    new String[0]
                                            ))
                            )
            )
            .withMaxResults(0) // 不返回原始命中文档，仅返回聚合结果
            .build();

    // 执行查询
    SearchHits<SubRequest> searchHits = elasticsearchRestTemplate.search(query, SubRequest.class);
    
    // 解析结果组装实体
    Terms parentGroupAgg = searchHits.getAggregations().get("parent_group");
    for (Terms.Bucket bucket : parentGroupAgg.getBuckets()) {
        TopHits topHits = bucket.getAggregations().get("parent_info");
        SubRequest sampleSub = topHits.getHits().getHits()[0].getContent();
        Request req = new Request();
        req.setIdentifier(sampleSub.getParentId());
        req.setState(sampleSub.getState());
        req.setRequesterId(sampleSub.getRequesterId());
        result.add(req);
    }
    return result;
}

注意事项 #

• terms聚合的size参数必须设置为大于业务中符合条件的父请求总数，如果单条件下父请求量超过1万，建议替换为composite聚合做滚动拉取，避免深度分页导致的性能问题和结果遗漏。
• 如果你使用ES 8.x版本的新版Java客户端，API类名和调用方式略有调整，但核心聚合逻辑（terms按parentRequestId分桶+嵌套子聚合取字段）完全一致。
• 基于你给出的业务规则，同parentRequestId下三个字段值完全一致，top_hits取1条文档不会出现数据错误，不需要额外做一致性校验。

内容的提问来源于stack exchange，提问作者chimera_girl