Elasticsearch慢日志经Filebeat传输后字段重复嵌套问题求助

核心原因 #

出现字段重复嵌套（elasticsearch.slowlog.elasticsearch.slowlog.took），本质是字段被两次添加到elasticsearch.slowlog命名空间下，通常由以下两种情况导致：

1. Filebeat全局配置中额外添加了elasticsearch相关的fields配置，与Elasticsearch模块的默认字段命名空间叠加。
2. 重复应用了Ingest Pipeline，导致字段被二次嵌套处理。

具体解决步骤 #

1. 检查并清理Filebeat全局配置 #

打开filebeat.yml，查找是否存在以下类似配置：

fields:
  elasticsearch:
    slowlog: "some_value"
fields_under_root: false

如果有，直接删除这段全局fields配置——因为Elasticsearch模块本身会自动将解析后的慢查询日志字段封装到elasticsearch.slowlog命名空间下，全局fields的elasticsearch字段会导致二次嵌套。

2. 检查Elasticsearch模块配置 #

打开模块配置文件filebeat/modules.d/elasticsearch.yml，确保配置仅保留必要的启用和路径设置，不要添加额外的fields或processors：

- module: elasticsearch
  slowlog:
    enabled: true
    var.paths: ["/var/log/elasticsearch/*_slowlog.log"]  # 替换为你的慢日志实际路径

如果模块配置里有自定义的processors（比如add_fields）导致字段嵌套，直接删除相关配置。

3. 重置并重新加载模块的Ingest Pipeline #

Filebeat的Elasticsearch模块会自动创建对应的Ingest Pipeline用于解析日志，如果Pipeline被篡改导致重复嵌套，执行以下命令重置：

filebeat setup --pipelines --modules elasticsearch

执行后，在Elasticsearch的Dev Tools中验证Pipeline是否正常：

GET _ingest/pipeline/filebeat-*elasticsearch-slowlog*

确认Pipeline中没有重复将字段嵌套到elasticsearch.slowlog的逻辑。

4. 验证输出配置 #

检查filebeat.yml的output.elasticsearch部分，确保没有手动指定与模块冲突的pipeline或index配置：

output.elasticsearch:
  hosts: ["your-monitor-es:9200"]
  # 不要手动指定与elasticsearch模块相关的pipeline，模块会自动分配对应的处理流程
  # pipeline: "custom-pipeline"  # 如果有类似配置，注释或删除

5. 重启Filebeat并验证 #

完成以上配置修改后，重启Filebeat服务：

systemctl restart filebeat

等待新的慢查询日志生成后，在Elasticsearch或Kibana中查看字段结构，确认elasticsearch.slowlog.took等字段恢复正常，无重复嵌套。

内容的提问来源于stack exchange，提问作者Keen Learner