如何将多容器Docker Elastic Beanstalk特定日志流式传输到CloudWatch？

我来帮你捋捋这个问题——在Docker多容器的Elastic Beanstalk环境里，这种“Beanstalk能看到的日志没同步到CloudWatch”的情况，大多是因为日志收集的配置没覆盖到你关心的那些文件。下面是具体的排查和解决步骤：

1. 先明确默认日志收集的范围 #

Beanstalk启用CloudWatch日志流后，默认只会收集预设路径的日志，比如：

• 容器的stdout和stderr输出（对应CloudWatch里类似/aws/elasticbeanstalk/[环境名]/docker/container/[容器名]的日志组）
• 主机上的Nginx/Apache服务日志（比如/var/log/nginx/下的文件）
• Beanstalk自身的系统日志（比如/var/log/eb-engine.log）

如果你重点关注的是容器内的自定义日志文件（比如应用自己生成的app.log、error.log），这些默认是不会被自动同步到CloudWatch的，得手动配置。

2. 通过.ebextensions配置自定义日志收集 #

你需要在项目根目录下创建.ebextensions文件夹，添加一个配置文件（比如01-cloudwatch-custom-logs.config），指定要收集的日志路径。示例配置如下：

files:
  "/etc/awslogs/config/custom_app_logs.conf":
    mode: "000644"
    owner: root
    group: root
    content: |
      [/var/log/containers/my-app/app.log]
      log_group_name = /aws/elasticbeanstalk/[你的环境名]/custom/my-app-logs
      log_stream_name = {instance_id}/app.log
      file = /var/log/containers/my-app/app.log*
      datetime_format = %Y-%m-%d %H:%M:%S

container_commands:
  01_restart_awslogs:
    command: "service awslogs restart"

关键注意点： #

• 替换[你的环境名]为实际的Beanstalk环境名称
• 如果要收集容器内的自定义日志，必须先在docker-compose.yml里通过volumes把容器内的日志路径挂载到主机上，比如：

  services:
    my-app:
      image: your-app-image:latest
      volumes:
        - /var/log/containers/my-app:/app/logs  # 把容器内的/app/logs挂载到主机的/var/log/containers/my-app
  

• datetime_format要和你日志文件的时间格式完全匹配，否则CloudWatch可能无法正确解析时间戳

3. 验证Docker容器的日志驱动配置 #

如果你的容器是通过docker-compose.yml定义的，建议明确指定日志驱动为awslogs（Beanstalk通常会自动配置，但手动指定更稳妥）：

services:
  my-app:
    image: your-app-image:latest
    logging:
      driver: awslogs
      options:
        awslogs-group: /aws/elasticbeanstalk/[你的环境名]/docker/container/my-app
        awslogs-region: us-east-1  # 替换为你的AWS区域
        awslogs-stream-prefix: docker

不过如果是收集容器内的自定义文件，还是推荐用“容器挂载到主机+主机awslogs agent收集”的方式，灵活性更高。

4. 检查实例角色的权限 #

确保Beanstalk环境的EC2实例角色（通常是aws-elasticbeanstalk-ec2-role）拥有CloudWatch Logs的必要权限：logs:CreateLogGroup、logs:CreateLogStream、logs:PutLogEvents。你可以在IAM控制台里查看这个角色的权限策略，确认包含这些权限。

5. 确认日志文件的读取权限 #

主机上的日志文件要保证awslogs用户有读取权限，否则日志代理无法读取并上传。可以通过ls -l /var/log/containers/my-app/app.log查看权限，必要时用chmod 644 /var/log/containers/my-app/app.log调整。

完成配置后，重新部署你的Beanstalk环境，等待更新完成后，再去CloudWatch查看是否出现了新的日志组，同时对比Beanstalk Request Logs里的文件，确认是否都被同步了。

内容的提问来源于stack exchange，提问作者soapergem