如何避免ECS部署时FireLens在CloudWatch新建日志流（非$date方案）

问题背景 #

使用AWS ECS结合FireLens（Fluent Bit）将容器日志转发至CloudWatch Logs时，每次部署ECS服务（即使无重大变更），都会生成类似log_ecs-dev-container-firelens-f8e3692ac6574537895466ab5b882e42的新日志流，长期积累导致日志管理困难。

解决方案 #

1. 基于ECS稳定元数据自定义日志流模板 #

利用FireLens自动注入的ECS元数据字段（如服务名、任务定义家族）构建稳定的日志流名称，替代随机容器ID。修改Fluent Bit的OUTPUT配置：

[OUTPUT]
    name cloudwatch_logs
    match *
    region ap-northeast-2
    log_group_name /dev/log
    log_stream_prefix log_
    log_stream_template $ecs_service_name-$ecs_task_definition_family
    auto_create_group true

$ecs_service_name和$ecs_task_definition_family是稳定字段，只要服务和任务定义不变，日志流名称就会固定，不会随部署重建容器而变化。

2. 通过FireLens配置传递自定义固定标签 #

在ECS任务定义中为FireLens添加自定义标签，再在Fluent Bit配置中引用该标签作为日志流名称：

步骤1：修改任务定义的log_router容器配置

"containerDefinitions": [
    // 业务容器配置保持不变
    {
        "name": "log_router",
        "image": "xxxx.dkr.ecr.ap-northeast-2.amazonaws.com/custom/fluentbit:dev",
        "firelensConfiguration": {
            "type": "fluentbit",
            "options": {
                "config-file-type": "file",
                "config-file-value": "/fluent-bit/alt/fluent-bit.conf",
                "custom-log-stream": "dev-ecs-app"
            }
        },
        // 其他配置保持不变
    }
]

步骤2：修改Fluent Bit的OUTPUT配置

[OUTPUT]
    name cloudwatch_logs
    match *
    region ap-northeast-2
    log_group_name /dev/log
    log_stream_prefix log_
    log_stream_template $custom-log-stream
    auto_create_group true

这样日志流会固定为log_dev-ecs-app，彻底避免随机后缀。

3. 优化ECS部署策略减少无意义任务重建 #

调整ECS服务的部署配置，避免不必要的任务销毁重建：

• 设置minimumHealthyPercent为100，maximumPercent为200（可根据实例资源调整），确保滚动更新时只有新任务启动成功后才销毁旧任务，减少无意义的任务重启
• 仅当任务定义、服务配置或镜像版本变更时触发部署，避免手动触发无变更的部署

4. 配置CloudWatch日志流生命周期自动清理 #

如果无法完全避免新日志流创建，可通过CloudWatch日志组的生命周期规则自动清理旧流：

1. 登录CloudWatch控制台，找到目标日志组/dev/log
2. 进入「保留策略」设置，配置日志流的保留天数（如7天、30天）
3. 系统会自动删除超过保留期的闲置日志流，减轻管理负担

注意事项 #

• 确保使用的Fluent Bit镜像支持ECS元数据注入，推荐使用AWS官方镜像amazon/aws-for-fluent-bit，避免自定义镜像缺失相关功能
• 测试配置时，可通过Fluent Bit的stdout输出插件验证元数据字段是否正确获取

内容的提问来源于stack exchange，提问作者Zion Lee