使用Filebeat MSSQL模块导入SQL Server ErrorLog的解析问题求助

问题场景 #

使用Filebeat的mssql模块将SQL Server ErrorLog文件直接导入Elasticsearch时，message字段出现类似�0�2�4�-�0�4�-�2�5� �2�2�:�1�0�:�0�3�.�2�5的乱码字符，同时提示无法在索引0处解析，需要实现日志逐行导入，考虑通过Logstash中转处理。当前mssql.yml配置如下：

- module: mssql
  # Fileset for native deployment
  log:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ['D:\path_to_log\Log\ERRORLOG*']
    encoding: utf-16

解决方案 #

方案一：调整Filebeat配置直接修复

• 修正编码设置：SQL Server ErrorLog默认采用UTF-16LE（小端序）编码，将配置中的encoding: utf-16改为encoding: utf-16le，避免因端序不匹配导致的解码乱码。
• 配置逐行/多行解析：添加多行规则确保日志按完整条目分割，避免跨行日志被拆分或合并：

  - module: mssql
    log:
      enabled: true
      var.paths: ['D:\path_to_log\Log\ERRORLOG*']
      encoding: utf-16le
      # 配置多行解析，匹配日志开头的日期格式
      multiline.type: pattern
      multiline.pattern: '^\d{4}-\d{2}-\d{2}'
      multiline.negate: true
      multiline.match: after
  

  该规则会将非日期开头的行合并到上一条日志中，保证每条日志是完整的独立条目。

方案二：通过Logstash中转处理

如果Filebeat直接处理仍有问题，可通过Logstash添加更灵活的编码转换与过滤逻辑：

1. 修改Filebeat输出指向Logstash：在filebeat.yml中配置输出：

   output.logstash:
     hosts: ["localhost:5044"]
   

2. 编写Logstash配置文件（logstash.conf）：

   input {
     beats {
       port => 5044
     }
   }
   
   filter {
     # 将UTF-16LE编码的message转换为UTF-8
     mutate {
       convert => { "message" => "utf-8" }
     }
     # 按换行符分割日志行
     split {
       field => "message"
       terminator => "\r\n"
     }
     # 过滤空行
     if [message] =~ /^\s*$/ {
       drop {}
     }
     # 可选：用grok解析日志结构
     grok {
       match => { "message" => "^%{TIMESTAMP_ISO8601:log_timestamp} %{GREEDYDATA:log_content}" }
     }
   }
   
   output {
     elasticsearch {
       hosts => ["http://localhost:9200"]
       index => "mssql-errorlog-%{+YYYY.MM.dd}"
     }
   }
   

内容的提问来源于stack exchange，提问作者Nugeez