在Kibana的OpenSearch Query DSL中统计聚合字段遇问题求解决

我正在使用Kibana查看OpenSearch索引，索引中的文档示例如下：

timestamp:"November 3rd 2022, 23:50:51.253" client_id:"61c9aebdd01d" event:"login"

timestamp:"November 3rd 2022, 23:51:11.553" client_id:"61c9aebdd01d" event:"error"

timestamp:"November 3rd 2022, 23:52:19.982" client_id:"287a5ef458db" event:"login"

timestamp:"November 3rd 2022, 23:59:35.840" client_id:"61c9aebdd01d" event:"login"

我需要统计event为"login"的唯一client_id数量，根据上述数据，结果应为2。

目前我可以通过AWS Kibana界面使用以下Query DSL统计匹配"login"的事件数：

{
  "query": {
    "match": {
      "event": "login"
    }
  }
}

该查询正常工作，返回结果为3。

但当我参考文档尝试构建聚合查询时，例如：

{
  "size": 0,
  "aggs": {
    "client_count": {
      "cardinality": {
        "field": "client_id"
      }
    }
  }
}

会出现SearchError: Internal Server Error错误。

我尝试了多种变体，例如以下查询虽无报错，但未返回正确的唯一client_id数量，结果与第一个查询一致：

{
  "size": 0,
  "query": {
    "match": {
      "event": "login"
    }
  },
  "aggs": {
    "client_count": {
      "cardinality": {
        "field": "client_id",
        "size": 0
      }
    }
  }
}

我尝试了cardinality、terms、global等聚合类型，均出现相同错误。另外，Kibana界面不允许使用类似GET /my_index_here/_search开头的语法。

请问正确的语法应该是什么？

1. 修正聚合字段（核心解决方法） #

你的聚合查询语法本身没有问题，报错的核心原因是client_id字段的映射类型不符合聚合要求——它大概率被设置为text类型，而text字段默认会被分词，无法直接用于cardinality这类聚合操作。

如果你的索引创建时采用了默认映射，client_id通常会同时存在text和keyword两种子类型，此时只需要将聚合字段改为client_id.keyword即可，正确的查询如下：

{
  "size": 0,
  "query": {
    "match": {
      "event": "login"
    }
  },
  "aggs": {
    "unique_client_count": {
      "cardinality": {
        "field": "client_id.keyword"
      }
    }
  }
}

这个查询会返回event为"login"的唯一client_id数量，对应示例数据的结果就是2。

2. 排查字段映射 #

如果上述查询仍然报错，需要确认client_id的字段类型：

• 在Kibana的Index Management中找到目标索引，进入Mappings标签，搜索client_id字段，查看它的类型。
• 如果client_id只有text类型没有keyword子字段，你需要重新索引数据，将client_id的映射改为keyword类型，或者添加keyword子字段。

3. 备选方案：用Terms聚合统计 #

如果暂时无法修改映射，也可以用terms聚合列出所有唯一的client_id，再统计结果中buckets的数量（适合数据量不大的场景）：

{
  "size": 0,
  "query": {
    "match": {
      "event": "login"
    }
  },
  "aggs": {
    "unique_clients": {
      "terms": {
        "field": "client_id.keyword",
        "size": 1000  // 设置足够大的数值，确保覆盖所有可能的client_id
      }
    }
  }
}

返回结果里aggregations.unique_clients.buckets的长度就是唯一client_id的数量。

内容的提问来源于stack exchange，提问作者Ben Wheeler