如何在Kibana与Elasticsearch中编写有效查询并统计聚合文档

别担心，我来一步步帮你搞定这个问题。你的文档里filename字段是VARIABLEPART_COMMONPART这种下划线分隔的格式，要提取前面的VARIABLEPART做聚合统计，咱们分步骤来操作：

一、编写Elasticsearch聚合查询 #

要从filename里拆分出前缀，咱们可以用脚本在聚合时动态提取。注意必须用filename.keyword字段（text类型的字段没法直接做字符串拆分操作），具体查询如下：

GET logstash-2018.05.11/_search
{
  "size": 0, // 不需要返回具体文档，只看聚合结果就行
  "aggs": {
    "variable_part_counts": { // 聚合结果的名称，你可以自定义
      "terms": {
        "script": {
          "source": "doc['filename.keyword'].value.split('_')[0]" // 拆分filename，取第一个部分就是VARIABLEPART
        },
        "size": 100 // 控制显示的聚合项数量，按需调整
      }
    }
  }
}

运行这个查询后，你就能在返回结果的aggregations节点下，看到每个VARIABLEPART对应的文档统计数了。

二、在Kibana中查看和可视化 #

这里有两种方式，满足你不同的需求：

方式1：在Dev Tools中直接运行查询 #

• 打开Kibana，点击左侧导航栏的Dev Tools（那个扳手图标）
• 把上面的JSON查询粘贴到左侧编辑框，点击右上角的运行按钮，就能直接看到聚合结果了。

方式2：创建可视化图表（比如柱状图、饼图） #

如果想做更直观的可视化展示，按以下步骤操作：

1. 进入Kibana的Visualize Library，点击右上角的Create visualization
2. 选你想要的图表类型（比如Vertical bar柱状图），然后选择你的logstash-2018.05.11索引模式
3. 在左侧Metrics面板，选择Count作为统计指标
4. 切换到Buckets面板，点击Add bucket → 选择Split bars（或Split series），再选Terms聚合类型
5. 在Terms聚合的配置里，把Field切换为Custom script，然后输入脚本：

   doc['filename.keyword'].value.split('_')[0]
   

6. 你还可以调整排序方式、显示的聚合项数量，点击Apply changes后，就能看到按VARIABLEPART统计的可视化图表了。

优化建议（可选） #

如果经常需要按这个字段聚合，每次用脚本会影响查询性能，建议提前把VARIABLEPART提取成单独的字段。你可以用Ingest Pipeline来预处理数据：

1. 创建提取字段的Pipeline #

PUT _ingest/pipeline/extract-variable-part
{
  "description": "从filename中提取可变前缀",
  "processors": [
    {
      "split": {
        "field": "filename",
        "separator": "_",
        "target_field": "filename_parts"
      }
    },
    {
      "set": {
        "field": "filename_variable_part",
        "value": "{{filename_parts.0}}"
      }
    },
    {
      "remove": {
        "field": "filename_parts" // 清理临时字段
      }
    }
  ]
}

2. 对已有数据重索引 #

POST _reindex
{
  "source": {
    "index": "logstash-2018.05.11"
  },
  "dest": {
    "index": "logstash-2018.05.11-updated",
    "pipeline": "extract-variable-part"
  }
}

之后在Kibana更新索引模式，添加filename_variable_part字段，后续就可以直接用这个字段做聚合，效率会高很多。

内容的提问来源于stack exchange，提问作者Alessio Frabotta