使用Fluentd正则表达式捕获无序可选分组的实现方法

可以不用创建多个过滤器，通过调整Fluentd的正则解析配置实现所有分组的捕获，具体方案如下：

核心配置调整 #

将原配置修改为统一匹配键值对的格式，并开启multiple: true参数，让解析器遍历所有匹配项：

<parse>
  @type regexp
  expression /\[(\w+):(.*?)\]/g
  multiple: true
  keys key, value
</parse>

适配固定字段需求 #

如果仅需要捕获指定的7个已知分组（比如username、age、score等），可以在正则中明确限定允许的字段，避免捕获无关内容：

<parse>
  @type regexp
  expression /\[(username|age|score|field4|field5|field6|field7):(.*?)\]/g
  multiple: true
  keys key, value
</parse>

原配置问题说明 #

你之前的配置使用多个独立捕获组（(?<username>.*?)、(?<age>.*?)等），但Fluentd的正则解析器默认仅执行一次匹配，且只会保留最后一个匹配的捕获组值，因此只能拿到单个字段。而上述方案通过统一的key-value捕获逻辑，配合multiple: true参数，会遍历日志中所有符合格式的分组，将每个键值对合并到最终的日志记录中。

比如第一条日志解析后会生成如下结构：

{
  "message": "This is the message from [username:john] and he is [age:34] years old",
  "username": "john",
  "age": "34"
}

内容的提问来源于stack exchange，提问作者Fernando