如何用Sidecar容器（优先Filebeat）收集容器stdout/stderr日志？

Sidecar Filebeat能否采集应用容器的stdout/stderr？ #

可以实现，但不推荐。应用容器的stdout/stderr会被容器运行时（如Docker、containerd）持久化到宿主机的固定目录（例如Docker的/var/lib/docker/containers/<容器ID>/<容器ID>-json.log）。要通过Sidecar采集这些日志，需要将宿主机的容器日志目录挂载到Sidecar容器中，再配置Filebeat监控该目录下的JSON日志文件。但这种方式存在明显弊端：

• 依赖宿主机目录挂载，权限管控难度大，不符合云环境的隔离要求
• 每个Pod都要运行一个Filebeat实例，资源利用率极低

推荐方案：DaemonSet + Hint-Based Autodiscover #

这是完全适配12-Factor App规范和云环境要求的最优方案，具体步骤：

• 保持应用日志输出习惯：继续将所有日志输出至stdout/stderr，无需修改应用代码或调整日志输出路径
• DaemonSet部署Filebeat：每个宿主机仅运行一个Filebeat实例，统一采集节点上所有容器的日志，资源利用率高，运维成本低
• 配置Hint-Based Autodiscover：
  • 利用容器的标签、注解等元数据自动识别目标应用容器
  • 基于元数据动态生成采集规则，比如过滤特定命名空间、添加业务标识字段、适配日志格式等
  • 无需手动维护单应用采集配置，天然适配容器动态扩缩容场景

关于共享卷方案的弊端 #

如果选择“应用输出日志到共享目录+Sidecar采集”的方案，必须额外处理日志轮转问题：

• 需要在应用容器或新增辅助容器中配置日志轮转工具（如logrotate），防止日志文件无限膨胀
• 共享卷的权限管理、日志文件读写锁等问题会大幅增加运维复杂度
• 同样存在每个Pod运行Sidecar的资源浪费问题，不符合云环境高效利用的原则

内容的提问来源于stack exchange，提问作者Toshi