Kubernetes中Filebeat无法监听Pod内自定义日志的问题排查

你的Filebeat无法采集应用日志，主要是以下几个配置错误导致的：

1. 未挂载应用日志目录到Filebeat Pod #

应用的日志存储在自身Pod的/var/logs/app/app.log路径下，但你的Filebeat Pod没有访问这个路径的入口。需要根据应用的日志存储方式，给Filebeat添加对应的挂载：

情况1：应用通过hostPath将日志映射到节点主机 #

如果你的应用Pod是用hostPath把日志目录挂载到节点的某个路径（比如/var/log/k8s/app），需要在Filebeat的Deployment中添加主机路径挂载：

• 在spec.volumes下新增：

- name: app-logs
  hostPath:
    path: /var/log/k8s/app  # 替换为应用实际映射到节点的日志路径
    type: DirectoryOrCreate

• 在containers[0].volumeMounts下新增：

- name: app-logs
  mountPath: /var/logs/app
  readOnly: true

情况2：应用通过PVC存储日志 #

如果应用用PersistentVolumeClaim存储日志，Filebeat需要挂载同一个PVC：

• 在spec.volumes下新增：

- name: app-logs
  persistentVolumeClaim:
    claimName: your-app-pvc-name  # 替换为应用使用的PVC名称

• 同样在volumeMounts中添加对应的挂载配置。

2. Autodiscover采集类型与匹配规则错误 #

你当前使用type: container的采集类型，这是针对容器标准输出日志的采集方式，但你需要采集的是文件系统中的自定义日志文件，应该使用filestream（Filebeat 7.x及以上推荐）或log类型。同时需要添加Pod匹配规则，避免采集无关资源：

修改ConfigMap中的filebeat.yml配置：

filebeat.autodiscover:
  providers:
    - type: kubernetes
      node: ${NODE_NAME}  # 限制只采集当前节点的Pod
      templates:
        - condition.equals:
            kubernetes.labels.app: your-app-label  # 替换为你的应用Pod的标签，确保只匹配目标应用
          config:
            - type: filestream
              id: app-log-stream
              paths:
                - /var/logs/app/*.log

3. 可选：验证日志文件权限 #

虽然你设置了runAsUser: 0（以root用户运行Filebeat），但要确保挂载的日志目录及文件的权限允许root用户读取，避免因权限不足导致无法采集。

内容的提问来源于stack exchange，提问作者Derhoer IT