如何通过容器名变量将多Pod的Kubernetes日志流式传输至CloudWatch

核心思路 #

直接指定单个快照路径的方式无法覆盖所有Pod，需要通过通配符匹配所有Pod日志文件，同时借助日志流/日志组的命名规则来区分不同Pod的日志。

具体配置步骤 #

1. 用通配符覆盖所有Pod日志文件 #

containerd环境下，Pod的日志通常存放在/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/*/fs/var/log/app.log路径下，用*匹配所有快照ID，即可覆盖所有Pod的app.log日志文件。

2. 动态生成日志流名称实现区分 #

利用awslogs支持的路径变量，把与Pod绑定的快照ID、实例ID等信息加入日志流名称，让每个Pod的日志流唯一。比如：

• {path_component_5} 代表路径中从左数第6个部分（也就是快照ID，对应不同的Pod）
• 结合{instance_id} 可以区分同一Pod在不同EC2实例上的日志

3. 完整示例配置 #

[all-k8s-apps]
datetime_format = %b %d %H:%M:%S
file = /var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/*/fs/var/log/app.log
buffer_duration = 5000
log_stream_name = {instance_id}-pod-{path_component_5}
initial_position = start_of_file
log_group_name = /aws/k8/all-apps

4. 进阶：显示Pod名称而非快照ID #

如果想让日志流名称直接显示Pod名称，可通过两种方式实现：

• 在应用代码中添加逻辑，启动时将Pod名称打印到日志里，后续在CloudWatch中通过过滤日志内容区分
• 挂载K8s的Pod元数据目录/var/lib/kubelet/pods，编写脚本将快照ID映射为对应Pod名称，再通过自定义变量注入到log_stream_name中（该方式需要额外维护映射关系）

注意事项 #

• 确保awslogs agent拥有读取所有快照目录的权限
• 如果不同Pod的日志文件名不一致，需调整通配符规则（比如改为*.log）
• 定期清理过期Pod的日志文件，避免agent持续监控已失效的文件

内容的提问来源于stack exchange，提问作者user2051904