日志格式变更后Filebeat 8.7.0停止工作，请求技术支持

问题根源 #

日志格式变更后，Filebeat默认的Apache日志解析规则无法适配新格式，导致字段解析错位：原本应映射到request_time的数字被错误写入error字段。而Elasticsearch中error字段的默认映射是对象类型（包含message、type等子字段），当收到数字/字符串这类具体值时，就触发了映射冲突报错。

解决步骤 #

1. 修正Filebeat的日志解析规则 #

由于你使用默认配置，大概率启用了Filebeat的Apache模块，需修改模块配置适配新日志格式：

方法1：用Dissect处理器（推荐，性能更高）

编辑Filebeat的Apache模块配置文件modules.d/apache.yml，替换access段配置：

- module: apache
  access:
    enabled: true
    var.paths: ["/你的/apache/日志路径/access.log"]
    processors:
      # 按新日志格式拆分字段
      - dissect:
          tokenizer: "%{clientip} %{proxyip} - [%{timestamp}] %{request_time} \"%{http_method} %{request} HTTP/%{http_version}\" %{response} %{bytes_sent}"
          field: "message"
          target_prefix: ""
      # 解析时间戳为ES可识别格式
      - date:
          field: "timestamp"
          formats: ["dd/MMM/yyyy:HH:mm:ss Z"]
      # 转换字段类型为正确格式
      - convert:
          fields:
            - {from: "request_time", to: "float"}
            - {from: "response", to: "integer"}
            - {from: "bytes_sent", to: "integer"}
      # 丢弃可能残留的错误映射字段
      - drop_fields:
          fields: ["error"]

方法2：用Grok处理器

如果熟悉Grok语法，也可替换为自定义Grok模式：

- module: apache
  access:
    enabled: true
    var.paths: ["/你的/apache/日志路径/access.log"]
    processors:
      - grok:
          match:
            message: '%{IPORHOST:clientip} %{IPORHOST:proxyip} - \[%{HTTPDATE:timestamp}\] %{NUMBER:request_time:float} "%{WORD:http_method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}" %{NUMBER:response:int} %{NUMBER:bytes_sent:int}'
      - date:
          field: "timestamp"
          formats: ["dd/MMM/yyyy:HH:mm:ss Z"]
      - drop_fields:
          fields: ["error"]

2. 修复Elasticsearch的映射冲突 #

方案A：重建索引（推荐，彻底解决）

若可接受创建新索引（建议先备份旧数据）：

1. 停止Filebeat服务
2. 删除存在映射冲突的旧索引：

curl -X DELETE "http://你的ES地址:9200/filebeat-8.7.0-*"

3. 重新加载Filebeat的默认索引模板：

filebeat setup --index-management

4. 重启Filebeat服务

方案B：不删除旧索引，临时规避

若不能删除旧索引，可通过Filebeat全局处理器确保不向error字段写入错误值：
在Filebeat主配置文件filebeat.yml中添加：

processors:
  - drop_fields:
      fields: ["error"]

3. 验证解析结果 #

用Filebeat测试命令验证新配置是否正确解析日志：

filebeat test input -c filebeat.yml -i "/path/to/test/new-format.log"

查看输出的JSON，确认request_time、clientip等字段正确，error字段不存在或无异常值。

内容的提问来源于stack exchange，提问作者Zlelik