如何基于修改后的message字段在Elasticsearch中执行聚合？

你直接在terms聚合的field参数里用replace语法是行不通的，Elasticsearch不支持这种动态修改字段的写法。要实现把不同UUID的消息归入同一个聚合桶，得用Painless脚本或者运行时字段来处理字符串替换，下面是两种可行方案：

方案一：在聚合中直接使用脚本处理 #

直接在terms聚合里指定脚本，实时替换message中的UUID后再分组：

{
  "size": 0,
  "aggs": {
    "my_aggregation": {
      "terms": {
        "size": 1000,
        "script": {
          "source": """
            String msg = doc['message.keyword'].value;
            // 匹配标准UUID格式的正则
            String uuidRegex = '[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12}';
            return msg.replaceAll(uuidRegex, '<UUID>');
          """,
          "lang": "painless"
        }
      }
    }
  }
}

脚本逻辑很简单：读取message.keyword的原始值，用正则匹配UUID并替换成<UUID>，聚合时基于替换后的字符串分组。

方案二：使用运行时字段复用处理逻辑 #

如果需要多次用到替换UUID后的字段，可以先定义一个运行时字段，后续查询和聚合都能直接用：

{
  "size": 0,
  "runtime_mappings": {
    "message.normalized": {
      "type": "keyword",
      "script": {
        "source": """
          String msg = doc['message.keyword'].value;
          String uuidRegex = '[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12}';
          emit(msg.replaceAll(uuidRegex, '<UUID>'));
        """,
        "lang": "painless"
      }
    }
  },
  "aggs": {
    "my_aggregation": {
      "terms": {
        "size": 1000,
        "field": "message.normalized"
      }
    }
  }
}

这里通过runtime_mappings创建了一个message.normalized关键字字段，处理逻辑和方案一一致，聚合时直接引用这个字段即可。

注意事项 #

• 确保你的Elasticsearch集群允许使用Painless脚本（默认开启）；
• 可以根据实际UUID格式调整正则表达式，比如是否区分大小写；
• 若数据量极大，脚本聚合会有一定性能损耗。如果长期需要这类聚合，建议在数据写入时就预处理字段，直接存储替换后的内容，性能会更优。

内容的提问来源于stack exchange，提问作者room13