EKS Fluent Bit投递日志到CloudWatch无法移除K8s元数据问题

• 现有配置：Fluent Bit采集EKS集群日志上报CloudWatch，启用Kubernetes filter插件，目标是用$(kubernetes['container_name'])作为log_stream_name实现按容器名分日志流
• 现存问题：每条日志默认携带全量Kubernetes元数据，CloudWatch控制台不展开无法查看业务日志，展开后冗余元数据淹没实际日志内容
• 已尝试方案：通过Remove_key过滤器、Lua脚本删除kubernetes字段，但字段删除后无法引用$(kubernetes['container_name'])生成日志流名称
• 基础配置：基于AWS官方提供的Fluent Bit容器监控模板部署

方案一：最小改动方案（推荐） #

核心逻辑：CloudWatch Logs输出插件支持log_key参数，指定仅将记录中对应字段的内容作为日志正文上报，插件在生成日志流名称阶段仍可读取内存中整条记录的所有字段，无需删除kubernetes字段即可实现日志正文无冗余元数据。
配置修改仅需在原有CloudWatch输出段新增1行参数即可：

[OUTPUT]
    Name                cloudwatch_logs
    Match               *
    # 保持你原有所有配置不变，包括log_stream_name、region、log_group_name等参数
    log_stream_name     $(kubernetes['container_name'])
    # 新增下面这行，指定仅上报log字段内的实际业务日志作为日志内容
    log_key             log
    # 其余原有配置保持不动...

配置生效后：

• 日志流仍按容器名自动划分，不受任何影响
• 上报到CloudWatch的每条日志正文直接是业务日志内容，不再携带任何Kubernetes冗余元数据
• 不需要额外加Lua脚本、不需要调整字段删除逻辑，对原有配置侵入性最低

方案二：彻底移除记录内Kubernetes元数据方案 #

如果需要在Fluent Bit管道内彻底删除kubernetes字段（比如后续对接其他日志输出），按以下顺序调整Filter段配置即可，核心是先提取需要的日志流名称字段，再删除元数据：

1. 保持原有Kubernetes filter配置不变，确保元数据正常注入
2. 在Kubernetes filter之后、字段删除操作之前，新增Modify过滤器，将容器名复制为顶级独立字段
3. 配置Remove规则删除整个kubernetes字段及其他不需要的冗余字段
4. 调整CloudWatch输出段的log_stream_name参数，引用提前复制的顶级字段

完整配置片段参考：

# 原有Kubernetes过滤器保持不变
[FILTER]
    Name                kubernetes
    Match               kube.*
    Kube_URL            https://kubernetes.default.svc:443
    Kube_CA_File        /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
    Kube_Token_File     /var/run/secrets/kubernetes.io/serviceaccount/token
    Kube_Tag_Prefix     kube.var.log.containers.
    Merge_Log           On
    Keep_Log            Off
    # 其余原有Kubernetes filter参数保持不动

# 新增Modify过滤器：提前提取容器名到顶级字段
[FILTER]
    Name                modify
    Match               *
    Copy                kubernetes.container_name cw_stream_name

# 原有字段删除逻辑（Remove_key或Lua脚本）现在可以正常生效，不会影响日志流命名
[FILTER]
    Name                modify
    Match               *
    Remove              kubernetes
    Remove              stream
    # 其余你需要删除的冗余字段可加在这里

# 修改CloudWatch输出段，引用提前提取的cw_stream_name字段
[OUTPUT]
    Name                cloudwatch_logs
    Match               *
    # 把原来的$(kubernetes['container_name'])替换为新的顶级字段引用
    log_stream_name     $(cw_stream_name)
    # 其余原有输出配置保持不动...

• Fluent Bit的过滤器按配置文件中的先后顺序执行，必须保证「提取容器名字段」的操作在「删除kubernetes字段」的操作之前，否则会出现字段取不到值的问题
• 方案一的log_key参数仅对CloudWatch输出生效，不会修改管道内传递的日志记录，不会影响其他输出插件的字段读取
• 若业务日志本身是JSON格式需要在CloudWatch做结构化查询，可在方案一基础上保留Merge_Log配置，不需要额外调整

内容的提问来源于stack exchange，提问作者Zhyer