如何为Kubernetes DaemonSet部署的Filebeat创建自定义索引实现不同命名空间日志分索引

Filebeat本身已支持基于Kubernetes元数据生成动态索引，不需要依赖Logstash，常用可行方案有以下3种：

方案1：直接通过Filebeat输出配置实现（推荐，无额外依赖） #

开启Kubernetes元数据采集后，直接在Elasticsearch输出配置中引用命名空间字段即可生成动态索引，操作成本最低。

• 核心配置逻辑：通过add_kubernetes_metadata处理器给所有容器日志注入命名空间、Pod名等K8s元数据字段，输出ES时直接在索引规则中引用kubernetes.namespace字段
• 示例配置片段：

filebeat.inputs:
- type: container
  paths:
    - /var/log/containers/*.log
  processors:
    - add_kubernetes_metadata:
        host: ${NODE_NAME}
        matchers:
        - logs_path:
            logs_path: "/var/log/containers/"
output.elasticsearch:
  hosts: ["你的Elasticsearch集群地址"]
  username: "${ES_USERNAME}"
  password: "${ES_PASSWORD}"
  # 动态索引规则，无命名空间的日志默认落到default索引
  index: "filebeat-%{[kubernetes.namespace]:default}-%{+yyyy.MM.dd}"
# 配置索引模板适配所有动态生成的索引
setup.template.name: "filebeat-custom"
setup.template.pattern: "filebeat-*"
# 若使用默认ILM策略需关闭强制索引配置，否则会覆盖自定义索引规则
setup.ilm.enabled: false

方案2：通过Elasticsearch Ingest Pipeline路由 #

如果需要更复杂的索引分流逻辑（比如指定部分命名空间共用索引、特殊命名空间单独归档），可以提前在Elasticsearch中创建Ingest Pipeline做路由判断。

• 第一步：在Elasticsearch中创建路由Pipeline

PUT _ingest/pipeline/namespace_index_router
{
  "processors": [
    {
      "set": {
        "field": "_index",
        "value": "filebeat-{{kubernetes.namespace}}-{{_ingest.timestamp|date('yyyy.MM.dd')}}",
        "if": "ctx.kubernetes?.namespace != null && ctx.kubernetes.namespace != 'kube-system'",
        "description": "非kube-system命名空间日志写入独立索引"
      }
    },
    {
      "set": {
        "field": "_index",
        "value": "filebeat-system-%{+yyyy.MM.dd}",
        "if": "ctx.kubernetes?.namespace == 'kube-system'",
        "description": "kube-system命名空间日志合并到系统索引"
      }
    }
  ]
}

• 第二步：修改Filebeat输出配置指定该Pipeline

output.elasticsearch:
  hosts: ["你的Elasticsearch集群地址"]
  pipeline: "namespace_index_router"

方案3：引入轻量中转组件分流 #

如果集群日志量级大、需要同时做日志清洗、脱敏等额外逻辑，可以在Filebeat和Elasticsearch之间引入Vector、Fluentd等轻量日志中转组件，相比Logstash资源消耗低30%以上，配置灵活度更高，适合大规模生产集群使用。

• 部署中转组件为StatefulSet，所有Filebeat将日志统一上报到中转层
• 中转层读取日志的kubernetes.namespace字段，按照自定义规则生成对应索引写入Elasticsearch

内容的提问来源于stack exchange，提问作者sidharth vijayakumar