ECS Fargate+Firelens+FluentBit自定义日志路由至CloudWatch异常

疑问1：日志路由Sidecar如何读取应用容器文件系统的日志？是否需要额外配置？ #

Sidecar通过共享emptyDir卷读取应用容器的日志文件，你已配置var-log共享卷，但需注意两点：

• 确认应用容器确实将日志写入挂载的/opt/app/log/路径，而非容器内部未挂载的目录。可通过ECS Exec进入应用容器，检查日志文件是否存在于共享卷路径中。
• 权限匹配：amazon/aws-for-fluent-bit镜像默认以fluentbit用户（UID 1000）运行，需确保应用写入的日志文件权限允许该用户读取。若应用以root用户写入，文件默认权限644可满足需求；若应用使用其他用户，需在应用容器启动脚本中执行chmod -R 755 /opt/app/log/调整权限，或让两个容器使用相同UID。

疑问2：当前配置文件存在的问题与补充内容 #

任务定义问题 #

• 应用容器的logConfiguration使用awsfirelens仅负责转发stdout日志，与文件日志转发无关，无需修改。
• 需给log_router容器添加环境变量获取ECS任务ID，用于日志流命名：

  # 在log_router容器的environment节点中添加
  environment = [
    {
      name  = "ECS_TASK_ID"
      value = "$(ecs_task_id)"
    }
  ]
  

Dockerfile问题 #

• 硬编码AWS凭证既不安全又配置错误：生成的~/.aws/credentials格式不符合要求，且完全不需要此配置——ECS任务可通过任务角色/执行角色授予CloudWatch权限，直接删除Dockerfile中所有凭证相关代码。

FluentBit配置问题 #

• INPUT模块路径错误：当前指向镜像内的test.log，应改为应用日志路径/opt/app/log/*.log，同时补充参数确保读取新文件和历史日志：

  [INPUT]
      Name tail
      Path /opt/app/log/*.log
      Tag app.logs
      Read_from_head true  # 读取文件全部内容，包括启动前的日志
      Refresh_interval 10  # 定期扫描新增日志文件
  

• OUTPUT模块变量使用错误：FluentBit不支持$(ecs_task_id)格式，需用环境变量替换语法${ECS_TASK_ID}，同时匹配INPUT的Tag规则：

  [OUTPUT]
      Name cloudwatch_logs
      Match app.logs*
      region us-east-1
      log_group_name /ecs/app
      log_stream_name app-${ECS_TASK_ID}
      auto_create_group true
      log_retention_days 90
  

疑问3：遗漏的关键配置步骤 #

1. IAM权限配置：给ECS任务的execution_role_arn和task_role_arn添加CloudWatch日志权限，至少包含：
   • logs:CreateLogGroup
   • logs:CreateLogStream
   • logs:PutLogEvents
     无需手动配置AWS凭证，ECS会自动通过角色为FluentBit授权。
2. 验证日志可达性：通过ECS Exec进入log_router容器，执行ls /opt/app/log/确认日志文件存在，再运行fluent-bit -v -c /fluent-bit.conf测试配置，查看是否有文件读取或CloudWatch连接报错。
3. 排查FluentBit自身日志：log_router容器的日志通过awslogs驱动发送到/ecs/app-${var.environment}日志组，可查看该组中的报错信息（如权限不足、配置错误等）。

内容的提问来源于stack exchange，提问作者Nishant