Filebeat处理器无法解析JSON日志中exception字段的问题求助

场景说明 #

使用Fleet Manager管理的Elastic Agent，通过Custom log files集成导入应用生成的JSON日志（每行对应一个JSON对象），示例日志如下：

{"timestamp":"2023-08-14T18:00:55.554","level":"ERROR","thread":"http-nio-8080-exec-5","logger":"some class","message":"API error.","context":"default","exception":"some exception message\r\n\t stack..."}
{"timestamp":"2023-08-14T18:00:55.554", ...}

已配置Agent Policy的处理器如下：

- decode_json_fields:
    fields: ["message","context"]
    process_array: true
    max_depth: 1
    target: ""
    overwrite_keys: true
    add_error_key: false

目前timestamp、logger、message等字段均可正常导入，但exception字段始终无法被解析导入，即使将该字段添加至处理器配置也无效果。

排查步骤 #

1. 验证原始日志的JSON合法性 #

确认exception字段的JSON格式是否合规：

• 使用jq工具提取单条日志的exception字段，检查是否能正常解析：

  jq '.exception' /path/to/your/log/file.log
  

  如果出现解析错误，说明日志中的exception值存在未转义的特殊字符（比如未转义的双引号），需要先修复日志格式。

2. 检查Elastic Agent运行日志 #

查看Agent所在机器的日志（默认路径：/var/log/elastic-agent/elastic-agent.log），搜索与exception字段相关的错误信息，比如解码失败、字段截断、映射冲突等提示，这些信息能直接定位问题。

3. 检查索引的字段映射（Mapping） #

打开Kibana Dev Tools，执行以下命令查看目标索引的映射：

GET /your-target-index/_mapping

• 如果exception字段不存在：可能是索引的动态映射被关闭，导致新字段无法自动生成映射。可以手动添加映射：

  PUT /your-target-index/_mapping
  {
    "properties": {
      "exception": {
        "type": "text",
        "ignore_above": 100000 // 根据实际字段大小调整，默认256会截断长字段
      }
    }
  }
  

• 如果exception字段已存在：检查其ignore_above参数（仅keyword类型有），若值小于字段实际长度，会导致字段被截断或不索引；若类型为keyword，建议改为text以支持长文本存储。

4. 确认Custom log files集成的JSON解析配置 #

因为整个日志行已是JSON格式，无需单独对message/context字段做解码，应确保集成的JSON解析开关已开启：

• 在Fleet的Custom log files集成配置中，找到Parse JSON选项，确认已勾选。开启后，Agent会自动解析整个日志行的JSON结构，所有字段都会被提取，无需在处理器中单独配置单个字段。

5. 检查字段截断限制 #

• Elasticsearch的keyword类型字段默认ignore_above为256，超过长度的内容会被忽略；text类型无此限制，但Agent的输入插件可能存在截断配置。
• 在Custom log files集成的高级配置中，检查是否设置了truncate_lines参数，若有可调整为更大值或设为0关闭截断；也可在输入配置中添加：

  ignore_above: 0
  

6. 测试单条日志直接导入Elasticsearch #

用curl发送单条包含exception字段的日志到Elasticsearch，验证是否能成功导入：

curl -XPOST "http://your-es-host:9200/your-target-index/_doc" -H "Content-Type: application/json" -d '{
  "timestamp":"2023-08-14T18:00:55.554","level":"ERROR","thread":"http-nio-8080-exec-5","logger":"some class","message":"API error.","context":"default","exception":"some exception message\r\n\t stack..."
}'

导入后执行GET /your-target-index/_search查看文档，若exception字段存在，说明问题出在Elastic Agent的配置；若仍不存在，则需检查Elasticsearch的索引设置或映射。

内容的提问来源于stack exchange，提问作者MiguelSlv