Filebeat AWS模块add fields及fields_under_root配置不生效问题求助

根因说明 #

你遇到的两个问题核心都是配置层级错误导致的自定义参数未被aws模块的cloudtrail输入正确识别，同时缺失必填配置导致输入初始化异常。

第一步：修正配置层级 #

Filebeat aws模块的子服务自定义输入参数需要放在var.input字段下，而非直接写input，同时必须补全var.queue_url的有效值，空值会导致cloudtrail输入初始化失败，这也是cloud.service.type字段未出现的核心原因之一。
修正后的配置示例：

filebeat.modules:
  - module: aws
    cloudtrail:
      enabled: true
      var.queue_url: "替换为你的实际SQS队列URL"
      var.input:
        fields:
          cloud.service.name: cloudtrail
          cloud.service.type: cloudtrail
        fields_under_root: true

第二步：生效配置并验证 #

• 修改完配置后，滚动重启K8S中的Filebeat workload（多数场景下是DaemonSet），执行命令：
  kubectl rollout restart daemonset/filebeat -n <替换为Filebeat所在的命名空间>
• 查看Filebeat Pod日志确认无报错：
  kubectl logs <替换为Filebeat Pod名称> -n <替换为Filebeat所在的命名空间> | grep aws
  确认没有队列地址无效、权限不足、配置格式错误类的报错。

备选方案（兼容性更强） #

如果使用的Filebeat版本较低，不支持模块内var.input参数覆盖，可以放弃模块配置，直接使用原生aws-s3输入采集cloudtrail日志，配置更灵活可控：

filebeat.inputs:
- type: aws-s3
  queue_url: "替换为你的实际SQS队列URL"
  fields:
    cloud.service.name: cloudtrail
    cloud.service.type: cloudtrail
  fields_under_root: true

额外注意事项 #

如果配置生效后字段仍未出现在根路径，检查是否开启了Filebeat默认的aws模块处理流水线，流水线可能会自动移动或删除自定义字段，可以在var.input中添加pipeline: _none临时关闭流水线验证。

内容的提问来源于stack exchange，提问作者y c