Fluentd收集K8s日志按Namespace生成Elasticsearch索引失败求助

核心故障原因 #

当前配置的核心问题有两个：

1. Elasticsearch输出插件的动态变量语法使用错误，${record['key']}不是该插件识别的占位符格式
2. 未验证Fluentd是否有权限获取Kubernetes集群Pod元数据，元数据拉取失败会导致namespace字段为空

分步修复步骤 #

步骤1：修正Output配置的动态索引语法 #

将logstash_prefix的取值语法更换为Elasticsearch输出插件支持的%{[字段路径]}格式，同时增加异常兜底逻辑，避免namespace为空时索引创建失败。修改后的output配置如下：

04_outputs.conf: |-
  <label @OUTPUT>
    <match **>
      @type elasticsearch
      host myhost
      port 9200
      user myuser
      password mypass
      scheme https
      ssl_verify false
      # 更换为插件支持的占位符语法，增加兜底默认值
      logstash_prefix Fluentd-%{[kubernetes][namespace_name]:-unknown-namespace}
      logstash_format true
      <buffer tag, $.kubernetes.namespace_name>
          flush_thread_count 8
          flush_interval 5s
          chunk_limit_size 2M
          queue_limit_length 32
          retry_max_interval 30
          retry_forever true
      </buffer>
    </match>
  </label>

步骤2：确认Fluentd的RBAC权限配置 #

Fluentd需要Kubernetes API访问权限才能拉取Pod元数据，你需要确保部署Fluentd的ServiceAccount绑定了包含以下权限的ClusterRole：

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: fluentd-clusterrole
rules:
- apiGroups: [""]
  resources:
  - namespaces
  - pods
  verbs:
  - get
  - list
  - watch

步骤3：验证元数据拉取状态（可选） #

如果调整后仍不生效，可以在filter配置末尾增加临时的stdout输出，查看日志记录是否包含kubernetes元数据字段：

# 加在filters.conf的@KUBERNETES label内，relabel到@OUTPUT之前
<match **>
  @type stdout
  @id debug_stdout
</match>

查看Fluentd Pod的日志，确认是否存在kubernetes.namespace_name字段，若不存在则说明元数据插件运行异常，可查看Fluentd日志排查权限或网络问题。

步骤4：额外优化（可选） #

可以通过record_transformer过滤器提前将namespace提取为顶层字段，降低索引配置的出错概率：

# 加在kubernetes_metadata过滤器之后
<filter kubernetes.**>
  @type record_transformer
  enable_ruby true
  <record>
    namespace ${record.dig('kubernetes', 'namespace_name') || 'unknown-namespace'}
  </record>
</filter>

此时output的logstash_prefix可简化为Fluentd-%{namespace}，buffer字段也可同步改为namespace。

内容的提问来源于stack exchange，提问作者zone sd