Filebeat无法采集Pod内application-logs{date}.log日志求助

当前配置存在核心问题：你使用的container类型输入默认采集的是容器标准输出对应的节点日志文件（/var/lib/docker/containers/下的文件），而非Spring应用容器内部的自定义日志文件application-logs{date}.log；同时Autodiscover配置中的/*.log是Filebeat容器内部路径，未映射到目标应用的日志文件位置。

以下是两种可行的解决方案：

方案1：通过HostPath挂载应用日志目录（推荐） #

这种方式稳定性更高，不依赖容器运行时的存储路径。

步骤1：修改Spring应用的Pod配置 #

将应用容器内的日志目录挂载到节点的HostPath：

# 应用Deployment/StatefulSet中的volumes字段
volumes:
  - name: app-logs
    hostPath:
      path: /var/log/spring-app-logs
      type: DirectoryOrCreate

# 应用容器的volumeMounts字段
volumeMounts:
  - name: app-logs
    mountPath: /app/logs  # 替换为你的Spring应用容器内日志文件所在的绝对目录

步骤2：修改Filebeat配置 #

更新ConfigMap中的filebeat.yml：

filebeat.inputs:
- type: filestream
  enabled: true
  paths:
    - /var/log/spring-app-logs/application-logs*.log
  processors:
    - add_kubernetes_metadata:
        in_cluster: true
        host: ${NODE_NAME}
        matchers:
        - logs_path:
            logs_path: /var/log/spring-app-logs
  json.keys_under_root: true
  json.add_error_key: true
  json.message_key: message

# 保留原有processors和output配置
processors:
  - add_cloud_metadata:
  - add_host_metadata:

output.elasticsearch:
  hosts: ['${ELASTICSEARCH_HOST:elasticsearch}:${ELASTICSEARCH_PORT:9200}']
  username: ${ELASTICSEARCH_USERNAME}
  password: ${ELASTICSEARCH_PASSWORD}

更新Filebeat DaemonSet的挂载配置：

在spec.template.spec.containers[0].volumeMounts中添加：

- name: spring-app-logs
  mountPath: /var/log/spring-app-logs
  readOnly: true

在spec.template.spec.volumes中添加：

- name: spring-app-logs
  hostPath:
    path: /var/log/spring-app-logs
    type: DirectoryOrCreate

方案2：直接采集容器内部日志文件（无需修改应用Pod） #

该方式依赖Docker容器的存储路径，适用于无法修改应用配置的场景：

修改ConfigMap中的Autodiscover配置 #

filebeat.autodiscover:
  providers:
    - type: kubernetes
      node: ${NODE_NAME}
      templates:
        - condition:
            contains:
              kubernetes.container.name: "your-spring-app-container-name"  # 替换为你的Spring应用容器名称
          config:
            - type: filestream
              paths:
                # 替换为应用容器内日志文件的绝对路径，/root/对应容器的根目录
                - /var/lib/docker/containers/${data.kubernetes.container.id}/root/app/logs/application-logs*.log
              json.keys_under_root: true
              json.add_error_key: true
              json.message_key: message
              processors:
                - add_kubernetes_metadata:
                    in_cluster: true

# 保留原有processors和output配置
processors:
  - add_cloud_metadata:
  - add_host_metadata:

output.elasticsearch:
  hosts: ['${ELASTICSEARCH_HOST:elasticsearch}:${ELASTICSEARCH_PORT:9200}']
  username: ${ELASTICSEARCH_USERNAME}
  password: ${ELASTICSEARCH_PASSWORD}

验证步骤 #

1. 重启Filebeat DaemonSet：kubectl rollout restart daemonset filebeat -n default
2. 查看Filebeat日志确认文件是否被识别：kubectl logs -f daemonset/filebeat -n default | grep "Harvester started for file"
3. 检查Elasticsearch索引是否有新数据：执行curl -u elastic:${ELASTICSEARCH_PASSWORD} https://elastic.staging.mmos.dev:443/_cat/indices?v

内容的提问来源于stack exchange，提问作者JoJo369