Fluentd对接Splunk HEC：如何自动设置sourcetype为K8s命名空间

我之前也碰到过类似的情况——用${record['kubernetes']['namespace_name']}设置索引没问题，但套用到sourcetype就只显示字符串本身，这主要是因为插件对不同参数的动态取值支持逻辑或者配置方式有区别，下面给你一步步解决的方案：

第一步：先确认K8s命名空间字段确实存在 #

首先要确保你的日志record里真的有kubernetes.namespace_name这个字段，不然再怎么配置都是白搭。可以临时加个stdout输出的match块验证：

<match kubernetes.**>
  @type stdout
  format json_lines
</match>

启动Fluentd后，看控制台输出的日志结构里有没有这个字段，如果没有，得先检查你的Kubernetes采集插件（比如fluent-plugin-kubernetes_metadata_filter）是否正确配置，确保它能把命名空间信息注入到record中。

第二步：尝试直接在Splunk HEC配置中动态赋值sourcetype #

新版的fluent-plugin-splunk-hec其实支持直接在sourcetype参数里用Fluentd的record accessor语法，你可以试试调整match块的配置：

<match kubernetes.**>
  @type splunk_hec
  hec_host your-splunk-hec-address
  hec_token your-hec-auth-token
  sourcetype ${record['kubernetes']['namespace_name']}
  index ${record['kubernetes']['namespace_name']} <!-- 你之前正常工作的索引配置 -->
  <buffer>
    @type memory
    flush_interval 5s
  </buffer>
</match>

如果这样配置后Splunk里还是显示字符串而非实际命名空间，那大概率是插件版本太低，不支持这个特性，升级插件即可：

gem install fluent-plugin-splunk-hec --upgrade

第三步：备选方案——用record_transformer预处理字段 #

如果升级插件后还是不行，或者你需要更灵活的控制（比如给空命名空间设置默认值），可以用record_transformer过滤器先把命名空间赋值给一个专门的字段，再让Splunk插件读取这个字段作为sourcetype：

1. 添加record_transformer过滤器 #

在你的Kubernetes日志采集配置后，加一个过滤器来生成sourcetype字段：

<filter kubernetes.**>
  @type record_transformer
  <record>
    <!-- 如果命名空间为空，默认用default_sourcetype -->
    splunk_sourcetype ${record.dig('kubernetes', 'namespace_name') || 'default_sourcetype'}
  </record>
</filter>

2. 配置Splunk HEC插件读取该字段 #

然后在match块里启用从事件字段读取sourcetype的功能：

<match kubernetes.**>
  @type splunk_hec
  hec_host your-splunk-hec-address
  hec_token your-hec-auth-token
  use_event_field_for_sourcetype true
  sourcetype_field_name splunk_sourcetype
  index ${record['kubernetes']['namespace_name']}
  <buffer>
    @type memory
    flush_interval 5s
  </buffer>
</match>

这样配置后，Splunk就能正确把K8s命名空间作为日志的sourcetype了，还能处理没有命名空间的异常情况。

内容的提问来源于stack exchange，提问作者trouphaz