FluentD配置gsub过滤Unicode字符输出到S3未生效问题求助

你配置的正则匹配的是字面量字符串形式的\u0000，但实际Fluentd采集到的是二进制的空字符（ASCII码0），不是转义后的字符串格式，因此匹配规则无法命中，过滤不生效。另外这类字符间隔穿插在正常字符中，绝大多数场景是源日志文件为UTF-16编码，你按默认UTF-8解码导致的解析异常。

• 确认字符类型：临时替换S3输出为stdout输出插件，将采集到的原始message打印到控制台，或者直接用od -c 源日志文件命令查看源文件编码，确认是空字节还是转义字符串。
• 确认过滤器规则生效：在record_transformer中新增调试字段，验证逻辑是否执行：

  <record>
    has_null_char ${ record["message"].include?("\u0000") }
  </record>
  

  查看输出的has_null_char字段是否为true，确认空字符真实存在且过滤器已执行。
• 确认配置顺序：检查filter配置是否位于source之后、match之前，tag匹配规则是否正确，是否存在其他filter覆盖了message字段的修改。

方案1：从编码根源解决（优先推荐） #

如果确认是源日志为UTF-16编码导致的解析异常，直接在source的parse块中指定编码转换即可从根源消除空字符：

<source>
  @type tail
  path PATH_TO_LOG_FILE
  pos_file PATH_TO_LOG_FILE.pos
  read_from_head true
  tag test
  <parse>
    @type none
    # 源文件编码根据实际情况调整为UTF-16LE/UTF-16BE
    from_encoding UTF-16LE
    encoding UTF-8
  </parse>
</source>

方案2：直接替换空字符 #

如果确实是日志本身包含非法空字符，修改替换逻辑直接匹配二进制空字符即可：

<filter test>
  @type record_transformer
  enable_ruby true
  <record>
    # 仅替换空字符
    message ${ record["message"].gsub("\u0000", "") }
    # 如需替换所有控制字符，使用下方配置
    # message ${ record["message"].gsub(/[[:cntrl:]]/, '') }
    # 如存在编码异常，可增加编码校验逻辑
    # message ${ record["message"].force_encoding('UTF-8').scrub.gsub("\u0000", "") }
  </record>
</filter>

修改后删除旧的pos文件重启Fluentd，重新采集验证即可。

内容的提问来源于stack exchange，提问作者helpaccount321