Filebeat未向Elasticsearch发送数据问题排查求助

核心问题分析 #

你的Filebeat配置存在几个关键问题，导致无法读取应用日志或发送到Elasticsearch，以下是逐步排查和修复的步骤：

1. 日志路径访问权限与部署模式不匹配 #

你配置的paths: ["/var/log/app.log"]是Filebeat容器内部的路径，但应用日志存放在业务Pod的容器中，Filebeat无法直接访问，需根据部署模式调整：

场景A：DaemonSet模式（推荐的集群日志收集方案）

• 挂载节点日志目录：Filebeat DaemonSet需要挂载K8s节点上的Pod日志目录（默认路径为/var/log/pods）到容器内，修改Filebeat的DaemonSet配置，添加volume挂载：

  volumes:
    - name: pod-logs
      hostPath:
        path: /var/log/pods
        type: Directory
  containers:
    - name: filebeat
      volumeMounts:
        - name: pod-logs
          mountPath: /var/log/pods
          readOnly: true
  

• 修正日志路径：将Filebeat输入配置的paths改为节点挂载后的路径，匹配应用的日志文件：

  filebeat.inputs:
  - type: container
    paths:
      # 按命名空间过滤，替换为你的应用命名空间
      - "/var/log/pods/your-app-namespace_*/*/app.log"
    processors:
      - add_kubernetes_metadata:
          host: ${NODE_NAME}
          in_cluster: true
  

场景B：Sidecar模式（与应用同Pod部署）

• 共享日志卷：在应用Pod的配置中，将应用容器的/var/log目录挂载为emptyDir或持久卷，再挂载到Filebeat容器：

  volumes:
    - name: app-logs
      emptyDir: {}
  containers:
    # 应用容器
    - name: your-app
      volumeMounts:
        - name: app-logs
          mountPath: /var/log
    # Filebeat Sidecar容器
    - name: filebeat
      volumeMounts:
        - name: app-logs
          mountPath: /var/log
          readOnly: true
  

  此时你的原paths配置"/var/log/app.log"才会生效。

2. 环境变量与处理器配置验证 #

• 注入NODE_NAME变量：add_kubernetes_metadata中的${NODE_NAME}需要通过K8s Downward API注入到Filebeat Pod，在Deployment/DaemonSet的env配置中添加：

  env:
    - name: NODE_NAME
      valueFrom:
        fieldRef:
          fieldPath: spec.nodeName
  

• 验证ES连接变量：进入Filebeat Pod，检查环境变量是否正确：

  kubectl exec -it <filebeat-pod> -- sh
  echo $ELASTICSEARCH_HOST $ELASTICSEARCH_USERNAME
  # 用curl测试ES连通性
  curl -u $ELASTICSEARCH_USERNAME:$ELASTICSEARCH_PASSWORD --cacert /usr/share/filebeat/certs/ca.crt https://$ELASTICSEARCH_HOST:9200
  

  如果返回ES集群信息，说明连接配置正常；如果报错，检查用户名、密码、证书是否正确。

3. Elasticsearch自动索引创建限制 #

ES 8.x默认限制自动创建索引，需确保允许Filebeat创建filebeat-*前缀的索引：

• 在Kibana的Dev Tools中执行以下命令，修改集群设置：

  PUT /_cluster/settings
  {
    "persistent": {
      "action.auto_create_index": "filebeat-*,*"
    }
  }
  

  （生产环境建议精确配置允许的索引模式，避免通配符过于宽泛）

4. 查看Filebeat日志定位具体错误 #

直接查看Filebeat Pod的日志，获取最直接的错误信息：

kubectl logs <filebeat-pod-name> -f

常见错误包括：

• 日志文件权限不足（需调整Filebeat的securityContext）
• ES认证失败（用户名/密码错误）
• SSL证书无效（检查ca.crt是否正确挂载）
• 处理器配置错误（NODE_NAME未注入导致的报错）

5. 临时关闭ILM测试 #

ES 8.x默认启用索引生命周期管理（ILM），若ILM配置异常可能导致索引无法创建，可临时关闭ILM验证：

setup.ilm.enabled: false

如果此时ES成功创建filebeat-*索引，再去Kibana的Stack Management中检查Filebeat的ILM策略配置。

内容的提问来源于stack exchange，提问作者Giamma