如何通过aws-for-fluent-bit按Namespace隔离EKS集群事件日志

错误原因分析 #

1. 标签匹配失败：错误提示说明rewrite_tag过滤器收到的日志标签长度短于kubernetes过滤器配置的kube_tag_prefix值，导致过滤器跳过处理。本质是输入标签格式和kubernetes过滤器的前缀配置不匹配，或者过滤器执行顺序错误，导致kubernetes.namespace_name字段未被正确注入日志。
2. OOMKill：大概率是Fluent Bit内存资源配置不足，或rewrite_tag规则导致日志处理逻辑冗余，内存堆积无法及时释放。

分步解决方案 #

1. 修复标签匹配问题 #

• 统一输入标签与kube_tag_prefix：
  确保tail输入的Tag格式和kubernetes过滤器的Kube_Tag_Prefix完全匹配。示例配置：

  # Tail输入配置
  [INPUT]
      Name tail
      Path /var/log/containers/*.log
      Tag kube.var.log.containers.*  # 生成的标签前缀为kube.var.log.containers.
      Parser docker
      DB /var/log/flb_kube.db
  

  # Kubernetes过滤器配置
  [FILTER]
      Name kubernetes
      Match kube.var.log.containers.*
      Kube_Tag_Prefix kube.var.log.containers.  # 和输入标签前缀完全一致
      Merge_Log On
      K8S-Logging.Parser On
      K8S-Logging.Exclude On
  

• 固定过滤器执行顺序：rewrite_tag过滤器必须放在kubernetes过滤器之后，这样才能获取到kubernetes.namespace_name字段，同时保证标签经过kubernetes过滤器处理后符合前缀要求。

2. 解决OOMKill问题 #

• 调整资源限制：修改Fluent Bit的Deployment资源配置，增加内存请求和限制值，示例：

  resources:
    requests:
      memory: "512Mi"
      cpu: "250m"
    limits:
      memory: "1Gi"
      cpu: "500m"
  

• 优化Buffer与日志刷新：在tail输入中增加内存缓冲限制，调整日志刷新间隔，避免内存堆积：

  [INPUT]
      Name tail
      # 其他配置...
      Mem_Buf_Limit 512MB  # 限制输入阶段的内存缓冲
      Flush_Interval 5s    # 缩短日志刷新间隔
  

• 精简rewrite_tag规则：避免过度使用通配符，明确匹配需要隔离的Namespace，减少不必要的标签重写操作：

  [FILTER]
      Name rewrite_tag
      Match kube.var.log.containers.*
      # 精确匹配team-a命名空间，重写标签为splunk.team-a
      Rule $kubernetes['namespace_name'] ^team-a$ splunk.team-a true
      # 精确匹配team-b命名空间，重写标签为splunk.team-b
      Rule $kubernetes['namespace_name'] ^team-b$ splunk.team-b true
      # 其他命名空间统一转发到默认Splunk输出
      Rule $kubernetes['namespace_name'] ^.*$ splunk.default true
      Emit_Record true  # 确保重写标签后的日志被输出端捕获
  

3. 验证配置有效性 #

• 临时添加stdout输出，检查日志是否包含kubernetes.namespace_name字段，以及标签是否被正确重写：

  [OUTPUT]
      Name stdout
      Match *
      Format json_lines
  

• 观察Fluent Bit的Pod日志，确认不再出现标签匹配错误，同时监控内存使用率，确保OOMKill不再发生。

完整核心配置示例 #

# 输入
[INPUT]
    Name tail
    Path /var/log/containers/*.log
    Tag kube.var.log.containers.*
    Parser docker
    DB /var/log/flb_kube.db
    Mem_Buf_Limit 512MB
    Flush_Interval 5s

# Kubernetes过滤器
[FILTER]
    Name kubernetes
    Match kube.var.log.containers.*
    Kube_Tag_Prefix kube.var.log.containers.
    Merge_Log On
    K8S-Logging.Parser On
    K8S-Logging.Exclude On

# Rewrite Tag过滤器
[FILTER]
    Name rewrite_tag
    Match kube.var.log.containers.*
    Rule $kubernetes['namespace_name'] ^team-a$ splunk.team-a true
    Rule $kubernetes['namespace_name'] ^team-b$ splunk.team-b true
    Rule $kubernetes['namespace_name'] ^.*$ splunk.default true
    Emit_Record true

# Team A Splunk输出
[OUTPUT]
    Name splunk
    Match splunk.team-a
    Host splunk-team-a.example.com
    Port 8088
    Token YOUR_TEAM_A_TOKEN
    Format json

# Team B Splunk输出
[OUTPUT]
    Name splunk
    Match splunk.team-b
    Host splunk-team-b.example.com
    Port 8088
    Token YOUR_TEAM_B_TOKEN
    Format json

# 默认Splunk输出
[OUTPUT]
    Name splunk
    Match splunk.default
    Host splunk-default.example.com
    Port 8088
    Token YOUR_DEFAULT_TOKEN
    Format json

内容的提问来源于stack exchange，提问作者GenuineNoam