Filebeat如何采集ID动态变化的指定Docker容器日志

你当前已经正确挂载了Docker数据目录和docker.sock，不需要调整volume挂载配置，直接通过Filebeat原生元数据关联+事件过滤即可实现需求，完全不需要关心容器ID动态变化的问题，配置步骤如下：

核心实现逻辑 #

Filebeat的add_docker_metadata处理器可以通过挂载的docker.sock自动关联每一条日志对应的容器元数据（包括容器名、镜像名、自定义标签等），这些属性不会随容器重建、ID变化而改变，基于这些属性做日志过滤即可精准命中目标容器。

具体配置修改 #

调整你的filebeat.yml内容，在container输入配置下增加处理器规则，示例如下：

filebeat.inputs:
  - type: container
    enabled: true
    paths:
      - '/var/lib/docker/containers/*/*.log'
    json.message_key: log
    json.keys_under_root: true
    processors:
      # 自动关联容器元数据，无需额外配置
      - add_docker_metadata: ~
      # 丢弃所有非目标容器的日志事件
      - drop_event:
          when:
            not:
              # 按固定容器名匹配，替换为你目标容器的实际名称
              equals:
                container.name: "your-target-container-name"

output.elasticsearch:
  hosts: ["elasticsearch:9200"]

适配不同场景的过滤规则调整 #

• 如果目标容器名称不是完全固定（比如存在随机后缀），可以将equals替换为contains做模糊匹配：

  when:
    not:
      contains:
        container.name: "target-app-prefix"
  

• 如果需要基于容器自定义标签过滤（推荐多实例部署场景使用），先给目标容器加上固定label比如log.collect: "true"，再将过滤条件改为匹配标签即可：

  when:
    not:
      equals:
        container.labels.log_collect: "true"
  

• 也可以基于镜像名过滤，将匹配字段替换为container.image.name即可。

注意事项 #

• 该方案在你当前的7.10.2版本Filebeat上开箱可用，不需要安装额外插件
• 虽然配置的路径会扫描所有容器的日志文件，但6个容器的文件扫描开销几乎可以忽略，非目标容器的日志事件会在进入处理管道第一时间被丢弃，不会写入Elasticsearch，也不会产生额外的传输、存储开销
• 不要尝试通过路径通配符匹配动态容器ID，这种方式稳定性极差，容器重建后很容易出现漏采、误采问题。

内容的提问来源于stack exchange，提问作者mahdi gadget