Kubernetes环境下Filebeat无法输出日志至ElasticSearch求助

环境回顾 #

• ElasticSearch状态正常
• Filebeat以DaemonSet方式部署，已配置相关环境变量
• Filebeat核心配置：

filebeat.autodiscover:
  providers:
    - type: kubernetes
      node: ${NODE_NAME}
      hints.enabled: true
      hints.default_config:
        enabled: false
        type: container
        paths:
          - /var/log/containers/*-${data.container.id}.log

output.elasticsearch:
  hosts: ['${ELASTICSEARCH_HOST:elasticsearch}:${ELASTICSEARCH_PORT:9200}']
  username: ${ELASTICSEARCH_USERNAME}
  password: ${ELASTICSEARCH_PASSWORD}

• 测试用nginx Deployment已添加注解：co.elastic.logs/enabled: "true"
• 当前问题：Filebeat无法将日志输出至ElasticSearch，无相关日志索引生成

排查与修复步骤 #

1. 确认Filebeat Pod的日志目录挂载权限 #

Kubernetes容器日志的软链存于/var/log/containers，实际日志文件在/var/log/pods，Filebeat DaemonSet必须挂载这两个目录才能读取日志。检查DaemonSet的volume配置：

volumes:
  - name: varlogcontainers
    hostPath:
      path: /var/log/containers
  - name: varlogpods
    hostPath:
      path: /var/log/pods

同时在容器的volumeMounts里添加：

volumeMounts:
  - name: varlogcontainers
    mountPath: /var/log/containers
    readOnly: true
  - name: varlogpods
    mountPath: /var/log/pods
    readOnly: true

若未挂载，Filebeat无法访问日志文件，直接导致采集失败。

2. 验证环境变量注入正确性 #

进入node1的Filebeat Pod，执行env命令检查以下环境变量是否正确设置：

• ELASTICSEARCH_HOST：指向ES服务的正确地址
• ELASTICSEARCH_USERNAME/ELASTICSEARCH_PASSWORD：ES的认证信息（若ES开启了安全验证）
  若变量未正确注入，Filebeat无法连接ES，需检查DaemonSet的env或envFrom配置是否正确。

3. 检查Pod注解的应用位置 #

确保co.elastic.logs/enabled: "true"注解添加在Pod模板的metadata中，而非Deployment的顶层metadata。正确的Deployment配置片段：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-test
spec:
  template:
    metadata:
      annotations:
        co.elastic.logs/enabled: "true"
    spec:
      containers:
        - name: nginx
          image: nginx:latest

若注解加错位置，Filebeat的autodiscover hints无法识别该Pod。

4. 调整Filebeat的日志路径模板 #

默认的路径模板/var/log/containers/*-${data.container.id}.log可能存在匹配问题，可尝试简化为：

paths:
  - /var/log/containers/*-${kubernetes.container.id}.log

或直接使用通配符测试：

paths:
  - /var/log/containers/nginx-test*.log

确认路径能匹配到目标容器的日志文件。

5. 查看Filebeat的详细日志 #

检查Filebeat Pod的日志，重点关注以下关键字：

• error：是否有文件访问权限错误、ES连接错误
• autodiscover：是否成功发现目标Pod并生成采集配置
• publisher：是否有事件被发送到ES
  若日志显示permission denied，需调整Filebeat容器的运行用户权限（比如添加securityContext.runAsUser: 0以root身份运行）。

内容的提问来源于stack exchange，提问作者baymax