如何配置FluentD为不同Kubernetes Namespace生成独立Elasticsearch索引

默认你当前集群部署的FluentD已经开启了Kubernetes元数据注入，每条Pod日志会携带kubernetes_namespace_name字段（部分配置下字段路径为kubernetes.namespace_name，可根据实际情况调整）。

方案1：动态生成索引（推荐，配置最简） #

直接修改索引名配置为动态模板，同时调整缓冲区配置适配动态字段，调整后完整配置如下：

<match pod.logs.kubernetes.**>
  @type elasticsearch
  # 核心修改：将namespace名称作为索引名的一部分，支持加日期后缀按天切分索引
  index_name {{.Values.fluentdelasticsearch.indexName}}-${record["kubernetes_namespace_name"]}-%Y%m%d
  host {{.Values.fluentdelasticsearch.host}}
  port 443
  scheme https
  type_name doc
  time_key_format "%Y-%m-%dT%H:%M:%S.%N%z"
  time_key time
  include_timestamp true
  reconnect_on_error true
  reload_connections true
  reload_on_failure true
  resurrect_after 5
  <buffer kubernetes_namespace_name,time>
    # 缓冲区新增namespace作为分片key，保证同namespace日志聚合写入
    flush_interval 5
    chunk_limit_size 2m
    queued_chunks_limit_size 32
    retry_forever true
  </buffer>
  @log_level debug
</match>

修改点说明：

• index_name中插入了${record["kubernetes_namespace_name"]}占位符，FluentD写入时会自动替换为日志对应Pod的Namespace名称，最终生成类似k8s-log-dev-20240520、k8s-log-test-20240520的独立索引
• buffer标签新增kubernetes_namespace_name,time参数，将Namespace和时间作为缓冲区的分片键，避免动态索引写入时报错，同时提升写入效率

方案2：拆分匹配规则（适合不同Namespace需要差异化配置的场景） #

如果dev、test两个Namespace的日志需要不同的写入策略（比如不同ES集群、不同flush间隔等），可以先通过重写标签拆分流量，再分别匹配：

1. 首先新增rewrite_tag_filter过滤器，给不同Namespace的日志打不同标签：

<filter pod.logs.kubernetes.**>
  @type rewrite_tag_filter
  <rule>
    key kubernetes_namespace_name
    pattern ^dev$
    tag pod.logs.kubernetes.dev
  </rule>
  <rule>
    key kubernetes_namespace_name
    pattern ^test$
    tag pod.logs.kubernetes.test
  </rule>
</filter>

2. 拆分原有的match配置，分别匹配两个标签：

<match pod.logs.kubernetes.dev>
  @type elasticsearch
  index_name {{.Values.fluentdelasticsearch.indexName}}-dev-%Y%m%d
  host {{.Values.fluentdelasticsearch.host}}
  port 443
  scheme https
  type_name doc
  time_key_format "%Y-%m-%dT%H:%M:%S.%N%z"
  time_key time
  include_timestamp true
  <buffer time>
    flush_interval 5
    chunk_limit_size 2m
    queued_chunks_limit_size 32
    retry_forever true
  </buffer>
  @log_level debug
</match>

<match pod.logs.kubernetes.test>
  @type elasticsearch
  index_name {{.Values.fluentdelasticsearch.indexName}}-test-%Y%m%d
  host {{.Values.fluentdelasticsearch.host}}
  port 443
  scheme https
  type_name doc
  time_key_format "%Y-%m-%dT%H:%M:%S.%N%z"
  time_key time
  include_timestamp true
  <buffer time>
    flush_interval 5
    chunk_limit_size 2m
    queued_chunks_limit_size 32
    retry_forever true
  </buffer>
  @log_level debug
</match>

验证注意事项 #

• 配置更新后重启FluentD Pod，分别在dev、test Namespace下生成测试日志，登录ES查看是否生成了对应后缀的独立索引
• 如果日志中Namespace字段是嵌套结构（比如路径为kubernetes.namespace_name），将占位符替换为${record["kubernetes"]["namespace_name"]}即可

内容的提问来源于stack exchange，提问作者Saif Haider