如何在单个Docker容器中实现多个S3 Bucket间的读写与数据复制？

一、选择基础镜像 #

• 快速部署选官方AWS CLI镜像：amazon/aws-cli，无需手动安装CLI工具。
• 需自定义逻辑（如Python脚本）可基于轻量镜像构建，比如alpine:latest或python:3.11-slim。

二、配置AWS身份认证 #

方式1：使用访问密钥（本地/非AWS环境） #

直接通过环境变量传入密钥，或挂载本地已配置的AWS目录：

• 环境变量方式：

  docker run -it --rm \
    -e AWS_ACCESS_KEY_ID="你的访问密钥ID" \
    -e AWS_SECRET_ACCESS_KEY="你的私有访问密钥" \
    -e AWS_DEFAULT_REGION="Bucket所在区域，例如us-east-1" \
    amazon/aws-cli
  

• 挂载配置文件方式（本地已配置~/.aws/）：

  docker run -it --rm \
    -v ~/.aws:/root/.aws \
    amazon/aws-cli
  

方式2：使用IAM角色（AWS托管环境） #

若容器部署在ECS（Fargate/EC2）或EKS上，直接为任务/Pod绑定包含双Bucket权限的IAM角色，容器内无需手动配置密钥，AWS工具会自动获取凭证。
权限策略需覆盖两个Bucket的所需操作，示例片段：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:ListBucket"],
      "Resource": ["arn:aws:s3:::ABCD", "arn:aws:s3:::ABCD/*"]
    },
    {
      "Effect": "Allow",
      "Action": ["s3:PutObject", "s3:ListBucket"],
      "Resource": ["arn:aws:s3:::EFGH", "arn:aws:s3:::EFGH/*"]
    }
  ]
}

三、容器内S3操作示例 #

1. Bucket间数据复制 #

• 单个文件复制：

  aws s3 cp s3://ABCD/source/file.txt s3://EFGH/dest/file.txt
  

• 批量同步目录：

  aws s3 sync s3://ABCD/source_dir/ s3://EFGH/dest_dir/
  

  可选参数：--delete同步删除操作，--exclude "*.log"过滤文件。

2. 其他读写操作 #

• 列出ABCD Bucket内容：

  aws s3 ls s3://ABCD/
  

• 容器本地文件上传至EFGH：

  aws s3 cp /container/local/file.txt s3://EFGH/uploaded/file.txt
  

• 从ABCD下载文件到容器本地：

  aws s3 cp s3://ABCD/source/file.txt /container/local/dest/file.txt
  

四、自定义镜像示例（含Python/boto3） #

若需编写脚本实现复杂逻辑，可构建自定义镜像：

FROM python:3.11-slim

RUN pip install --no-cache-dir awscli boto3

WORKDIR /app
COPY your_s3_logic.py .

CMD ["python", "your_s3_logic.py"]

构建命令：docker build -t s3-ops .
运行命令：docker run --rm -e AWS_ACCESS_KEY_ID="xxx" -e AWS_SECRET_ACCESS_KEY="xxx" s3-ops

五、注意事项 #

• 确认密钥/角色拥有两个Bucket的对应权限，避免AccessDenied错误。
• 挂载配置文件时，注意容器内用户的目录路径（官方AWS CLI镜像默认使用root用户，对应/root/.aws）。
• 大文件复制时，AWS CLI自动启用分段上传，无需额外配置。

内容的提问来源于stack exchange，提问作者Laster