如何在Fluentd中监控多个文件并推送至Elasticsearch？

我来帮你梳理下可行的解决方案，你之前新增<source>和<match>出错大概率是配置语法或者标签匹配的问题，先看几种高效的实现方式：

方案1：单个Source监控多个文件（最简便） #

如果两个日志文件在同一目录，你完全可以在同一个tail source里指定多个路径，不用新增多组配置，这样维护起来更简单：

<source>
  @type tail
  # 用逗号分隔多个文件路径，或者用通配符（比如log_*.json）批量匹配
  path /home/user/Documents/log_data.json,/home/user/Documents/log_user.json
  format json
  tag myfiles
</source>

<match myfiles>
  @type elasticsearch
  hosts 192.168.48.118:9200
  user <username>
  password <password>
  index_name fluentd-%Y%m%d  # 按日期拆分索引更利于后期日志管理
</match>

如果需要给不同文件的日志打不同标记或者拆分到不同Elasticsearch索引，可以给每个文件单独设置子标签：

<source>
  @type tail
  path /home/user/Documents/log_data.json
  format json
  tag myfile.data
</source>

<source>
  @type tail
  path /home/user/Documents/log_user.json
  format json
  tag myfile.user
</source>

# 匹配所有myfile开头的标签，统一推送并动态生成索引名
<match myfile.*>
  @type elasticsearch
  hosts 192.168.48.118:9200
  user <username>
  password <password>
  # 用标签的第二部分区分不同文件的索引
  index_name fluentd-${tag_parts[1]}-%Y%m%d
</match>

方案2：正确配置多组Source+Match（解决你之前的错误） #

你之前新增配置出错，可能是标签匹配规则不对或者语法错误。比如如果新增的source标签是myuser，对应的match要写*myuser*或者直接myuser，而不是沿用原来的*myfile*。正确的示例如下：

# 监控log_data.json
<source>
  @type tail
  path /home/user/Documents/log_data.json
  format json
  tag myfile.data
</source>

# 监控log_user.json
<source>
  @type tail
  path /home/user/Documents/log_user.json
  format json
  tag myfile.user
</source>

# 分别推送至不同索引，实现日志隔离
<match myfile.data>
  @type elasticsearch
  hosts 192.168.48.118:9200
  user <username>
  password <password>
  index_name fluentd-data-%Y%m%d
</match>

<match myfile.user>
  @type elasticsearch
  hosts 192.168.48.118:9200
  user <username>
  password <password>
  index_name fluentd-user-%Y%m%d
</match>

关于多Worker的使用 #

Fluentd确实支持多Worker进程，但一般不需要用多Worker来监控多个文件——tail插件本身就能高效处理多文件监控任务。多Worker更适合日志量极大、需要拆分负载的场景，配置示例如下：

<system>
  # 启动2个Worker进程
  workers 2
</system>

# 指定第一个Worker监控log_data.json
<source>
  @type tail
  path /home/user/Documents/log_data.json
  format json
  tag myfile.data
  worker_id 0
</source>

# 指定第二个Worker监控log_user.json
<source>
  @type tail
  path /home/user/Documents/log_user.json
  format json
  tag myfile.user
  worker_id 1
</source>

# 匹配所有标签统一推送（或按需求分开推送）
<match myfile.*>
  @type elasticsearch
  hosts 192.168.48.118:9200
  user <username>
  password <password>
  index_name fluentd-${tag_parts[1]}-%Y%m%d
</match>

常见错误排查 #

你之前新增配置出错，可能的原因包括：

• 标签格式不符合要求（比如使用了特殊字符）
• Match的模式和Source的Tag不匹配（比如Source用myuser，Match还是*myfile*）
• 配置文件语法错误（比如缺少空格、标签闭合不正确）

内容的提问来源于stack exchange，提问作者S Andrew