Elasticsearch中如何统计多字段值组合的精确计数（无需开启fielddata）

嘿，我刚好处理过类似的需求，完全符合你要求的「默认配置、不开启fielddata、精确匹配多字段组合计数」，给你梳理一下具体方案：

核心思路：用嵌套terms聚合+默认的keyword子字段 #

虽然你的字段都是text类型，但Elasticsearch在创建text字段时，默认会自动生成一个同名的.keyword子字段（类型是keyword，天生支持精确匹配和聚合，完全不需要开fielddata）——这刚好踩中我们的需求！我们只需要通过嵌套的terms聚合，依次按client_ip、method、response_code分组，就能得到每个组合的计数，效果和你要的SQL完全一致。

直接能用的DSL查询 #

GET /apache_logs/_search
{
  "size": 0, // 不用返回原始日志，只看聚合结果就行
  "aggs": {
    "group_by_client_ip": {
      "terms": {
        "field": "client_ip.keyword", // 用keyword子字段做精确匹配
        "size": 10000 // 数值调大一点，确保能返回所有可能的IP，别漏了分组
      },
      "aggs": {
        "group_by_method": {
          "terms": {
            "field": "method.keyword",
            "size": 10000
          },
          "aggs": {
            "group_by_response_code": {
              "terms": {
                "field": "response_code.keyword",
                "size": 10000
              },
              "aggs": {
                "total_count": {
                  "value_count": {
                    "field": "_id" // 用文档ID计数，保证准确
                  }
                }
              }
            }
          }
        }
      }
    }
  }
}

结果怎么看？ #

返回的聚合结果是层级结构的，对应我们的嵌套分组：

• 第一层是各个client_ip的分组
• 第二层是每个IP下对应的method分组
• 第三层是每个method下对应的response_code分组，最后那个total_count就是该组合的出现次数

比如你给的示例数据，会得到类似这样的结果片段：

"aggregations" : {
  "group_by_client_ip" : {
    "buckets" : [
      {
        "key" : "a",
        "doc_count" : 3,
        "group_by_method" : {
          "buckets" : [
            {
              "key" : "b",
              "doc_count" : 3,
              "group_by_response_code" : {
                "buckets" : [
                  {
                    "key" : "c",
                    "doc_count" : 3,
                    "total_count" : {
                      "value" : 3
                    },
                    // 这里会拆成两个子bucket：key=d对应count=2，key=e对应count=1
                  }
                ]
              }
            }
          ]
        }
      }
    ]
  }
}

几个关键注意点 #

1. size参数别太小：每个terms聚合的size要设置得足够大，不然如果某个字段的取值太多，Elasticsearch会只返回前N个，导致分组不全。如果数据量特别大，后面我会给你一个分页的方案。
2. 如果没有.keyword子字段怎么办？：要是你的text字段是自定义映射，没生成默认的keyword子字段，也不用改映射，直接用runtime field临时生成就行：

   GET /apache_logs/_search
   {
     "size": 0,
     "runtime_mappings": {
       "client_ip.keyword": {
         "type": "keyword",
         "script": "emit(doc['client_ip'].value)"
       },
       "method.keyword": {
         "type": "keyword",
         "script": "emit(doc['method'].value)"
       },
       "response_code.keyword": {
         "type": "keyword",
         "script": "emit(doc['response_code'].value)"
       }
     },
     "aggs": {
       // 聚合部分和上面完全一样
     }
   }
   

3. 大数据量用composite聚合更稳：如果你的Apache日志量特别大，嵌套terms聚合可能没法一次性返回所有结果，这时候用composite聚合更合适——它支持多维度分组，还能分页获取结果：

   GET /apache_logs/_search
   {
     "size": 0,
     "aggs": {
       "combined_groups": {
         "composite": {
           "sources": [
             {"client_ip": {"terms": {"field": "client_ip.keyword"}}},
             {"method": {"terms": {"field": "method.keyword"}}},
             {"response_code": {"terms": {"field": "response_code.keyword"}}}
           ]
         },
         "aggs": {
           "total_count": {
             "value_count": {
               "field": "_id"
             }
           }
         }
       }
     }
   }
   

   这个查询会直接返回每个client_ip+method+response_code组合的计数，结构更直观，要是结果太多，还能通过after参数分页拿到剩下的分组。

内容的提问来源于stack exchange，提问作者Andy Shepherd