Elasticsearch 如何实现nested下flattened类型动态属性的自动terms聚合

核心前提约束 #

• 由于variants为nested类型，所有针对其内部字段的统计必须先进入nested聚合上下文，否则会出现跨数组元素的统计错位，和示例中按单个variants条目计算doc_count的口径不匹配。
• 由于options为flattened类型，ES不会将flattened下的动态键自动暴露为独立的可聚合字段映射元数据，不存在开箱即用的“自动遍历所有动态键分别执行terms聚合”的单一步骤，可通过以下两种可落地方案实现目标：

方案1：两阶段查询实现（性能最优，推荐生产环境使用） #

整个流程分两次请求完成，全程不需要提前预知options下的键名：

1. 第一阶段请求：通过聚合枚举拿到options下所有存在的动态键名
   执行以下查询，跳过文档返回，直接从聚合结果中提取所有options包含的键：

   {
     "size": 0,
     "aggs": {
       "variants_nested_ctx": {
         "nested": {
           "path": "variants"
         },
         "aggs": {
           "options_all_dynamic_keys": {
             "terms": {
               "field": "variants.options",
               "value_type": "key",
               "shard_size": 200,
               "size": 200
             }
           }
         }
       }
     }
   }
   

   说明：设置value_type: "key"后，针对flattened类型字段的terms聚合会枚举该字段下存储的所有动态键名，返回的buckets的key就是options下的具体键（比如Size、Material），而非键对应的值。
2. 第二阶段请求：将第一阶段拿到的所有键，按照现有手动指定terms聚合的写法拼接成完整的聚合语句，发送第二次查询，即可得到和示例输出结构完全一致的结果。

方案2：单脚本聚合实现（仅适合动态键数量较少的场景） #

不需要分两次请求，在nested上下文内通过脚本遍历当前variants下的所有options键值对，生成复合key完成聚合，再在应用层拆分key重构输出结构：

{
  "size": 0,
  "aggs": {
    "variants_nested_ctx": {
      "nested": {
        "path": "variants"
      },
      "aggs": {
        "options_all_kv_stats": {
          "terms": {
            "script": {
              "source": "def currentVariant = params._source.variants[doc['_nested_index'].value]; def opts = currentVariant.options; for (def kv in opts.entrySet()) { return kv.getKey() + '||' + kv.getValue() }",
            },
            "size": 1000,
            "shard_size": 2000
          }
        }
      }
    }
  }
}

拿到聚合结果后，应用层将每个bucket的key按||拆分，前半段为聚合字段名（比如variants.options.Size），后半段为对应的键值，再按字段名重新分组统计doc_count，即可匹配目标输出结构。

注意：脚本聚合的性能远低于原生terms聚合，仅适合动态键总数不超过100的小规模场景，大规模场景下优先选择方案1。

关键注意事项 #

• 全程不要跳过nested聚合上下文：如果直接在文档顶层针对variants.options.xxx做聚合，会把整个product文档的doc_count算入统计，和示例中按单条variants条目计算doc_count的口径不符。
• 调整flattened字段的聚合阈值：flattened类型默认支持的最大聚合键数为105，如果业务中options下的动态键更多，需要提前调整flattened字段映射的depth.limit参数，同时加大terms聚合的shard_size配置，避免遗漏动态键。
• 不要依赖mapping接口拉取动态键：flattened类型的内部动态键不会体现在索引的公开mapping元数据中，通过mapping接口拉取会出现大量键遗漏，无法完整枚举。

内容的提问来源于stack exchange，提问作者gaurav