如何将Filebeat Prospector路径的正则匹配结果提取至字段？

嘿，这个需求完全可以实现！Filebeat（不管是旧版本的prospector还是新版本的input）都能轻松帮你从日志路径里提取指定内容，生成你需要的log_topic字段。核心思路是利用Filebeat自动生成的log.file.path字段，再通过处理器解析这个路径来提取目标值。

下面给你两种常用的实现方式，你可以根据自己的路径复杂度选择：

方式一：用Dissect处理器（适合路径结构固定的场景） #

Dissect是Filebeat里专门用来分割结构化字符串的工具，语法简单，性能也不错。假设你的日志文件路径格式是/var/log/{appName}/*.log，配置如下：

filebeat.inputs:
- type: log
  paths:
    - "/var/log/*/*.log"  # 用通配符匹配所有目标日志文件

processors:
  # 第一步：从log.file.path里提取appName
  - dissect:
      tokenizer: "/var/log/%{app_name}/%{file_name}"
      field: "log.file.path"
      target_prefix: ""  # 把提取的字段直接放到事件根级别
  # 第二步：生成log_topic字段
  - add_fields:
      fields:
        log_topic: "app-%{app_name}"
  # 可选：如果不需要保留临时字段，可以删掉
  - drop_fields:
      fields: ["app_name", "file_name"]

方式二：用Grok处理器（适合复杂/不规则路径） #

如果你的路径结构更灵活（比如中间有多层目录），Grok正则匹配会更适配。同样基于log.file.path字段：

filebeat.inputs:
- type: log
  paths:
    - "/var/log/**/*.log"  # 递归匹配所有子目录下的日志

processors:
  # 用正则捕获组提取appName，这里匹配/var/log/后面的第一个目录名
  - grok:
      match:
        log.file.path: "/var/log/(?<app_name>[^/]+)/.*"
  # 生成目标字段
  - add_fields:
      fields:
        log_topic: "app-%{app_name}"

效果验证 #

当你的日志文件路径是/var/log/myAppName/app.log时，上面的配置会自动把log_topic字段设置为app-myAppName，完全符合你的需求。

注意事项 #

• Filebeat默认会给每个日志事件添加log.file.path字段，不需要额外开启。
• 如果你的路径格式和示例不同，只需要调整Dissect的tokenizer或者Grok的正则表达式即可。
• 新版本的Filebeat已经把"prospector"改名为"input"，但配置逻辑一致，旧版本可以直接把filebeat.inputs换成filebeat.prospectors。

内容的提问来源于stack exchange，提问作者Idan Gozlan