使用Fluentd splunk-http-eventcollector插件时出现400错误请求

我之前部署Fluentd推日志到Splunk时也碰到过一模一样的400错误，跟你这个情况完全契合——用none格式正常，加了kubernetes_metadata改json就报错。核心问题就是处理后的日志结构不符合Splunk HTTP事件收集器（HEC）的要求，咱们一步步来解决：

问题根源 #

当你切换到json格式并添加kubernetes_metadata过滤器后，Fluentd会把K8s Pod的元数据（比如命名空间、Pod名称、标签等）嵌入到日志的JSON结构里，但Splunk HEC对接收的JSON格式有明确要求：要么是包含event字段的标准结构，要么是能被直接解析的纯事件JSON。如果元数据嵌套后破坏了这个结构，就会触发Invalid data format错误。

具体解决方案 #

1. 先确认Splunk HEC的基础配置

先检查Splunk端的HEC设置是否正确：

• 登录Splunk Web，进入Settings > Data Inputs > HTTP Event Collector
• 找到你用的HEC Token对应的输入项，确认Source Type设置为_json（或者其他支持JSON解析的类型），同时确保HEC本身是启用状态。

2. 调整Fluentd配置，适配Splunk格式

下面两种配置调整方式任选其一，都能解决格式不兼容的问题：

方式一：用record_transformer规整日志结构

在kubernetes_metadata过滤器之后，添加一个record_transformer过滤器，把原始日志内容和K8s元数据整合成Splunk能识别的结构：

# 先获取K8s元数据
<filter **>
  @type kubernetes_metadata
  # 这里保留你原本的kubernetes_metadata配置，比如namespace、label的提取规则
</filter>

# 规整结构，让Splunk能正确解析
<filter **>
  @type record_transformer
  <record>
    # 把原始日志内容放到event字段，这是Splunk HEC偏好的结构
    event ${record["log"]}
    # 把K8s元数据单独放到kubernetes字段里，方便后续检索
    kubernetes ${record["kubernetes"]}
    # 可选：手动指定日志时间，让Splunk用这个时间而非接收时间
    time ${time}
  </record>
</filter>

方式二：优化Splunk输出插件的配置

如果不想修改日志结构，也可以调整splunk_hec输出插件的参数，让它适配当前的日志格式：

<match **>
  @type splunk_hec
  hec_host your-splunk-server-ip
  hec_port 8088
  hec_token your-valid-hec-token
  index your-target-index-name
  sourcetype _json
  # 明确指定输出格式为json
  format json
  # 可选：把Fluentd的tag作为字段传入Splunk，方便分类
  include_tag_key true
  tag_key fluentd_tag
</match>

3. 先验证处理后的日志格式（关键排查步骤）

在推送到Splunk之前，先把输出临时改成stdout，看看经过kubernetes_metadata处理后的日志结构到底是什么样的，能快速定位问题：

<match **>
  @type stdout
  format json_lines
</match>

运行Fluentd后查看控制台输出，确认JSON结构是否有嵌套异常、字段缺失，或者原始日志本身不是JSON（比如纯文本）却被强制解析成JSON的情况。

4. 检查插件版本

如果你的fluent-plugin-splunk-hec版本比较旧，可能存在JSON格式处理的bug，建议更新到最新版本：

gem update fluent-plugin-splunk-hec

额外注意点 #

• 如果你的原始日志是纯文本（不是JSON），千万别把source里的format设为json，这会让Fluentd尝试把纯文本解析成JSON，直接导致结构错误。这种情况下应该把format设为none或multiline（针对多行日志），再用record_transformer把文本包装成JSON结构。
• 确保Fluentd的ServiceAccount绑定了足够的权限，能读取K8s集群的Pod元数据，否则kubernetes_metadata过滤器无法正常工作，也会导致日志结构异常。

内容的提问来源于stack exchange，提问作者anupshrestha