You need to enable JavaScript to run this app. 如何正确移除Fluent Bit输出中的_aws键及关联嵌套值
优惠活动
大模型
产品
解决方案
定价
更多

如何正确移除Fluent Bit输出中的_aws键及关联嵌套值

配置失效根因
  • 你当前看到的带_aws字段的记录,并非是mem内存采集输入原生生成的内容,而是后续EMF(嵌入式指标格式)转换过滤器在执行阶段自动注入的元数据块
  • Fluent Bit的过滤器严格按照配置块在文件中的从上到下顺序依次执行。你目前把record_modifier过滤器放在了EMF转换逻辑的前面:等record_modifier执行的时候,_aws键还没被生成,Remove_key _aws根本找不到可删除的目标对象,配置自然无法生效
  • 典型的错误配置顺序参考:
    # 先执行record_modifier,此时记录中不存在_aws键,删除操作无目标
    [FILTER]
        Name record_modifier
        Match *
        Remove_key _aws
    # 后执行EMF转换逻辑,生成完整的_aws块,此时record_modifier早已执行完毕,无法对生成的_aws做删除
    [FILTER]
        Name aws
        Match memory_usage
        Namespace fluent-bit-metrics
    
可直接落地的解决方法
  • 调整过滤器的执行顺序,将record_modifier配置块移动到EMF转换过滤器的后方:等EMF逻辑把完整的_aws块写入记录之后,再执行删除操作。调整后的正确配置顺序示例:
    # 先执行EMF转换,生成_aws元数据块
    [FILTER]
        Name aws
        Match memory_usage
        Namespace fluent-bit-metrics
    # 后执行删除操作,此时_aws已存在于记录中,可正常移除整个键值对
    [FILTER]
        Name record_modifier
        Match memory_usage
        Remove_key _aws
    
  • 特殊场景适配:
    • 如果你需要保留CloudWatch的指标上报能力,同时要把清理后的记录发送到ES、S3等其他存储,不要直接全局删除_aws。可通过管道分流实现:EMF处理后的记录同时流向两个路径,一个路径直接对接CloudWatch上报指标(不做_aws删除,满足EMF格式的上报要求),另一个路径经过record_modifier删除_aws后再写入下游存储,避免影响CloudWatch的指标采集——EMF格式必须携带_aws块才能被CloudWatch识别为有效指标,删除后会直接导致指标上报失败
    • 如果你根本不需要EMF格式的自动元数据注入,直接移除对应的EMF转换过滤器配置即可。这种场景下输出的记录只会保留内存采集原生的Mem.total/Mem.used/Swap.total等字段,根本不会生成_aws块,也不需要额外配置删除规则
  • 效果验证方法:配置调整完成后,可在Fluent Bit启动参数中开启过滤器调试日志,直接查看每一步过滤器执行后的记录键值变化,确认_aws是否被正常移除

内容的提问来源于stack exchange,提问作者Viji

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.27 17:15:01