如何使用Fluentd解析自定义格式日志提取目标字段避免正则匹配报错

解决方案 #

1. 固定字段捕获（避免非目标字段变化导致匹配失败） #

不要全量匹配所有日志片段，正则中使用非捕获惰性匹配(?:.*?)跳过不需要的字段，仅针对你需要的字段特征做捕获，示例正则如下：

^(?<logdate>\d{2}\/\d{2}\/\d{2} \d{2}:\d{2}:\d{2}\.\d{6}):.*?(?<source>fr[A-Z]{3,4}|to[A-Z]{3,4}):.*?:.*?:(?<UID>#\w+):.*?:.*?:(?<statuscode>msg\d{4})

• 其中.*?会自动跳过中间任意长度、任意内容的非目标字段，只要你需要的字段特征（比如source固定为fr/to开头加3-4位大写字母、statuscode固定为msg加4位数字）不变，就不会出现匹配失败的问题，也不会生成多余的dummyfield`类无用字段。

2. 自动解析F系列键值对 #

无需为每个F开头的字段单独写正则，直接使用Fluentd内置的kv过滤器插件自动解析key:value格式的内容，支持值为任意数字、字符、空格混合的场景。

完整Fluentd配置示例 #

# 第一步：解析固定字段，同时提取F系列键值对的整体内容到kv_content字段
<filter 你的日志标签>
  @type parser
  key_name message
  reserve_data true
  <parse>
    @type regexp
    expression /^(?<logdate>\d{2}\/\d{2}\/\d{2} \d{2}:\d{2}:\d{2}\.\d{6}):.*?(?<source>fr[A-Z]{3,4}|to[A-Z]{3,4}):.*?:.*?:(?<UID>#\w+):.*?:.*?:(?<statuscode>msg\d{4}),(?<kv_content>.*)$/
  </parse>
</filter>

# 第二步：自动解析kv_content中所有F开头的键值对
<filter 你的日志标签>
  @type kv
  key_name kv_content
  remove_key_name_field true # 解析完成后删除kv_content字段
  field_delimiter_pattern /,/ # 键值对之间用逗号分隔
  value_delimiter_pattern /:/ # 键和值之间用冒号分隔
  filter_key_regexp /^F\d+$/ # 仅保留F+数字格式的键，自动过滤其他无意义字段
</filter>

# 第三步：删除不需要的原始字段
<filter 你的日志标签>
  @type record_transformer
  remove_keys message
</filter>

如果F系列字段的值中包含逗号，仅需调整第一步的正则，将F系列字段的起始特征作为分隔标记即可，无需修改后续kv解析逻辑。

内容的提问来源于stack exchange，提问作者Gaaki