如何过滤Fluentd Docker容器日志并保留日志持久化？

问题根源 #

你的Fluentd配置存在语法结构错误：将<source>、<filter>、<label>等插件配置嵌套在了<system>块内部。而<system>仅用于配置Fluentd系统级参数（如log_level），无法承载插件逻辑，这才是修改log_level后日志持久化失效的核心原因。

可行解决方案 #

方案1：临时过滤Docker容器日志（无需修改Fluentd配置） #

如果只是在执行docker logs -f时不想看到warn级日志，直接用grep反向过滤即可，完全不影响Fluentd自身的日志持久化功能：

docker logs -f cluster-fluentd-1 | grep -v "\[warn\]"

• -v参数表示反向匹配，过滤掉所有包含[warn]的行。

方案2：修正Fluentd配置结构（彻底解决配置失效+屏蔽warn日志） #

先修正配置结构，将系统配置与插件配置分离，再设置合适的log_level屏蔽warn日志，同时保证日志持久化正常工作。

修正后的完整配置：

<system>
  <!-- 设置为info等级，屏蔽warn及以下的日志输出 -->
  log_level info
</system>

<!-- 插件配置放在<system>外部 -->
<source>
  @type  forward
  @id    input1
  @label @mainstream
  port  24224
</source>

<filter **>
  @type stdout
</filter>

<label @mainstream>
  <match docker.**>
    @type file
    @id   output_docker1
    path         /fluentd/log/docker.*.log
    symlink_path /fluentd/log/docker.log
    append       true
    timekey %Y%m%d
    timekey_wait   1m
    time_format       %Y%m%dT%H%M%S%z
  </match>
  <!-- 移除原配置中多余的"44"语法错误 -->
  <match **>
    @type file
    @id   output1
    path         /fluentd/log/data.*.log
    symlink_path /fluentd/log/data.log
    append       true
    timekey %Y%m%d
    timekey_wait  10m
    time_format       %Y%m%dT%H%M%S%z
  </match>
</label>

• 注意：原配置中<match **>后面的44是语法错误，必须删除，否则会导致配置加载失败。
• log_level可选值：trace、debug、info、warn、error、fatal，设置为info即可屏蔽所有warn级日志。

方案3：精准过滤特定warn日志（保留其他warn/info日志） #

如果不想全局屏蔽warn日志，仅过滤你提到的那些特定warn信息，可以使用Fluentd的log_filter功能：

<system>
  <log_filter>
    @type grep
    <!-- 匹配并排除包含指定方法名的warn日志 -->
    exclude1 message /emit_buffered|emit_stream|on_message|handle_connection/
  </log_filter>
</system>

<!-- 插件配置保持修正后的结构，同方案2 -->
<source>
  ...
</source>
...

该方案只会过滤你提供的那些栈追踪warn日志，其他warn级信息仍会保留，同时不影响业务日志的持久化。

内容的提问来源于stack exchange，提问作者user22884049