如何在Kibana中搜索APM日志里的http.request.body.original JSON字段

问题根源 #

你的http.request.body.original字段无法被模糊搜索，核心原因是该字段的映射类型不符合搜索需求：

• 默认情况下APM可能将该字段映射为keyword类型，仅支持精确匹配，无法使用*testuser*这类通配符模糊搜索；
• 即使是text类型，若绑定了非分词分析器（如keyword analyzer），也无法拆分字符串实现模糊匹配。

解决方案 #

1. 先确认字段映射 #

先通过Elasticsearch API查看apm-*transaction*索引的字段映射，明确当前类型：

GET apm-*transaction*/_mapping/field/http.request.body.original

如果返回结果显示type: keyword，即可确认是字段类型限制了搜索能力。

2. 方案一：更新索引映射（长期推荐方案） #

如果允许重新索引现有数据，修改字段映射为可搜索的text类型：

• 创建优先级高于默认APM模板的自定义索引模板，指定字段映射规则：

  PUT _index_template/custom-apm-transaction
  {
    "index_patterns": ["apm-*transaction*"],
    "priority": 200,
    "mappings": {
      "properties": {
        "http.request.body.original": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        }
      }
    }
  }
  

• 重新索引现有数据到新索引（若现有索引已存在，直接修改类型需重建索引）：

  POST _reindex
  {
    "source": {
      "index": "apm-*transaction*"
    },
    "dest": {
      "index": "apm-transaction-new"
    }
  }
  

• 后续新采集的APM数据会自动应用新映射，现有数据也能通过新索引进行搜索。

3. 方案二：使用Runtime Fields（无需重新索引，快速验证） #

如果不想重新索引，可在Kibana中创建Runtime Field，将原字段转为可搜索的文本类型：

1. 进入Kibana的Stack Management > Index Patterns，找到apm-*transaction*索引模式；
2. 点击Add field，选择Runtime field；
3. 设置字段名（如request_body_search），类型选择Text；
4. 输入Painless脚本：

   emit(doc['http.request.body.original'].value);
   

5. 保存后，即可使用request_body_search: *testuser*进行搜索。

4. 方案三：解析JSON请求体（结构化搜索更高效） #

如果请求体是固定结构的JSON（比如包含user字段），可以创建Runtime Field直接解析出目标字段，避免全字符串模糊搜索的性能损耗：

1. 按方案二的步骤创建Runtime Field，字段名如request_body_user，类型选择Text；
2. 输入Painless脚本：

   String body = doc['http.request.body.original'].value;
   if (body != null) {
     try {
       def json = JSON.parse(body);
       emit(json.user);
     } catch (Exception e) {
       emit(null);
     }
   }
   

3. 保存后，直接用request_body_user: testuser搜索，效率更高，也便于后续制作仪表盘可视化。

5. 制作仪表盘 #

搜索功能正常后，即可在Kibana的Dashboard中：

• 添加可视化组件（如表格、柱状图）；
• 基于可搜索的请求体字段设置过滤条件，筛选出特定用户的请求；
• 保存仪表盘完成配置。

内容的提问来源于stack exchange，提问作者Rubén M