Docker镜像构建时awscli的S3同步命令执行异常排查求助

尝试在Jenkins上构建可执行awscli命令的Docker镜像时遇到异常：已将安全凭证添加至~/.aws/credentials文件，内容如下：

[default]
aws_access_key_id = 1234567890
aws_secret_access_key = abcdeffhikjkndasjk123123455

执行RUN aws s3 sync s3://test-bucket/file.txt /opt命令时日志显示执行完成：

RUN aws s3 sync s3://test-bucket/file.txt /opt
 sha256:123456789
 DONE 1.2s

但后续执行RUN ls -la /opt查看目录时，目标文件file.txt并未出现：

RUN ls -la /opt
#18 0.374 drwxr-xr-x    1 root     root            29 May 11 11:10 .
#18 0.374 drwxr-xr-x    1 root     root            17 May 11 11:10 ..
#18 0.374 -rw-r--r--    1 root     root           125 May 11 11:09 otherfiles.txt

使用的Dockerfile内容如下：

WORKDIR ~/.aws/
COPY credentials .
COPY config .
RUN echo $AWS_DEFAULT_REGION

WORKDIR /opt

RUN aws s3 sync s3://test-bucket/file.txt /opt
RUN ls -la /opt 

排查与解决方法 #

• 修正S3命令用法：aws s3 sync是用于同步目录的命令，若要复制单个文件，应使用aws s3 cp。原命令会把s3://test-bucket/file.txt当作目录处理，无法复制文件。修改Dockerfile中的对应命令：

  RUN aws s3 cp s3://test-bucket/file.txt /opt/
  

• 验证AWS凭证与配置有效性：
  • 在Dockerfile中添加调试命令，确认凭证文件是否正确复制到容器内：

    RUN cat /root/.aws/credentials && cat /root/.aws/config
    

  • 检查config文件是否配置了正确的区域，示例配置：

    [default]
    region = us-east-1
    

  • 添加命令验证桶访问权限：

    RUN aws s3 ls s3://test-bucket
    

    确认当前凭证拥有s3:GetObject权限。
• 修正WORKDIR路径：Docker中~可能无法正确解析为root用户的家目录，建议直接使用绝对路径指定AWS配置目录：

  WORKDIR /root/.aws/
  COPY credentials .
  COPY config .
  

• 确保Jenkins环境变量传递：如果AWS_DEFAULT_REGION是在Jenkins中设置的，构建镜像时需通过--build-arg传递变量：

  docker build --build-arg AWS_DEFAULT_REGION=$AWS_DEFAULT_REGION -t your-image .
  

  同时在Dockerfile开头添加参数声明：

  ARG AWS_DEFAULT_REGION
  

内容的提问来源于stack exchange，提问作者TheWalkingMalteser