Docker awslog驱动CloudWatch日志流拆分相关问题咨询

1. 按日期拆分超大日志流的实现方式 #

Docker原生awslog日志驱动支持自定义日志流命名规则，要实现容器ID+日期格式的命名，可根据业务场景选择两种方案：

• 业务允许短时间停机的场景：启动容器时在日志选项中拼接日期后缀，配置每日定时重启容器即可自动生成对应日期的新日志流。
  容器启动命令参考：

  docker run \
    --log-driver=awslogs \
    --log-opt awslogs-region=<你的实例所在区域> \
    --log-opt awslogs-group=<你的目标日志组名称> \
    --log-opt awslogs-stream="{{.ID}}-$(date +%Y%m%d)" \
    <你的业务镜像>
  

  如果使用docker compose部署，对应logging配置段参考：

  services:
    your-app:
      image: your-business-image:tag
      logging:
        driver: awslogs
        options:
          awslogs-region: <实例所在区域>
          awslogs-group: <目标日志组名称>
          awslogs-stream: "{{.ID}}-%Y%m%d"
  

  注意：原生awslog驱动的日志流名称仅在容器启动时解析一次，运行过程中不会自动切换日期后缀，因此必须配合定时重启策略才能实现按天分流。
• 业务不允许停机重启的场景：改用FireLens for Fluent Bit作为日志中转驱动，在Fluent Bit配置中添加按日志时间戳路由的规则，可在不重启业务容器的前提下，自动将不同日期产生的日志写入对应命名的日志流，无需中断业务。

2. CloudWatch日志流的大小限制 #

CloudWatch Logs没有对单个日志流设置总存储容量的硬上限，只要写入请求符合服务配额要求，就可以持续向单流追加数据，相关写入侧的配额如下：

• 单个日志流的写入吞吐量上限为每秒5次写入请求，每秒最高可写入1MB数据
• 单条日志事件的大小上限为256KB，超过阈值的日志会被awslog驱动自动截断
• 单次批量写入请求（PutLogEvents）最多可携带10000条日志，请求总大小不能超过1MB

3. 持续向单个超大日志流追加日志是否为最佳实践 #

该操作不属于合理的最佳实践，长期使用单流写入会带来多个明确的问题：

• 查询效率低下：当日志流存储的日志跨度过长、数据量过大时，CloudWatch控制台的日志检索、指标统计延迟会明显升高，大时间范围查询甚至会直接超时
• 生命周期管理困难：CloudWatch的日志保留策略仅能在日志组维度统一配置，无法针对单流内不同时间段的日志做差异化的归档、删除操作，单流长期写入会导致过期日志清理、冷数据归档的逻辑无法落地
• 易触发写入限流：单个日志流的写入吞吐量是固定配额，业务高峰日志量突增时，单流写入很容易触发限流，导致日志延迟、丢失
• 故障排查成本高：排查指定日期的线上问题时，需要在跨数月甚至全年的日志中过滤时间范围，远不如直接定位到对应日期的独立日志流效率高

通用推荐实践是按日期维度拆分日志流，单个日志流存储的日志时间跨度不超过7天，日志产出量较大的业务可缩短至1天。 #

内容的提问来源于stack exchange，提问作者cednore