如何正确移除Fluent Bit输出中的_aws键及关联嵌套值
配置失效根因
- 你当前看到的带
_aws字段的记录,并非是mem内存采集输入原生生成的内容,而是后续EMF(嵌入式指标格式)转换过滤器在执行阶段自动注入的元数据块 - Fluent Bit的过滤器严格按照配置块在文件中的从上到下顺序依次执行。你目前把
record_modifier过滤器放在了EMF转换逻辑的前面:等record_modifier执行的时候,_aws键还没被生成,Remove_key _aws根本找不到可删除的目标对象,配置自然无法生效 - 典型的错误配置顺序参考:
# 先执行record_modifier,此时记录中不存在_aws键,删除操作无目标 [FILTER] Name record_modifier Match * Remove_key _aws # 后执行EMF转换逻辑,生成完整的_aws块,此时record_modifier早已执行完毕,无法对生成的_aws做删除 [FILTER] Name aws Match memory_usage Namespace fluent-bit-metrics
可直接落地的解决方法
- 调整过滤器的执行顺序,将
record_modifier配置块移动到EMF转换过滤器的后方:等EMF逻辑把完整的_aws块写入记录之后,再执行删除操作。调整后的正确配置顺序示例:# 先执行EMF转换,生成_aws元数据块 [FILTER] Name aws Match memory_usage Namespace fluent-bit-metrics # 后执行删除操作,此时_aws已存在于记录中,可正常移除整个键值对 [FILTER] Name record_modifier Match memory_usage Remove_key _aws - 特殊场景适配:
- 如果你需要保留CloudWatch的指标上报能力,同时要把清理后的记录发送到ES、S3等其他存储,不要直接全局删除
_aws。可通过管道分流实现:EMF处理后的记录同时流向两个路径,一个路径直接对接CloudWatch上报指标(不做_aws删除,满足EMF格式的上报要求),另一个路径经过record_modifier删除_aws后再写入下游存储,避免影响CloudWatch的指标采集——EMF格式必须携带_aws块才能被CloudWatch识别为有效指标,删除后会直接导致指标上报失败 - 如果你根本不需要EMF格式的自动元数据注入,直接移除对应的EMF转换过滤器配置即可。这种场景下输出的记录只会保留内存采集原生的
Mem.total/Mem.used/Swap.total等字段,根本不会生成_aws块,也不需要额外配置删除规则
- 如果你需要保留CloudWatch的指标上报能力,同时要把清理后的记录发送到ES、S3等其他存储,不要直接全局删除
- 效果验证方法:配置调整完成后,可在Fluent Bit启动参数中开启过滤器调试日志,直接查看每一步过滤器执行后的记录键值变化,确认
_aws是否被正常移除
内容的提问来源于stack exchange,提问作者Viji
相关产品推荐
相关产品推荐

