Gitlab流水线中AWS CLI S3 Sync执行异常求助

一、同步过滤器失效问题（本地正常，流水线同步所有文件） #

排查与修复步骤： #

• 修正参数引号处理：GitLab CI的shell环境可能解析单引号导致过滤器规则失效，改用双引号包裹参数：

  aws s3 sync . "s3://$BUCKET_NAME" --exclude "*" --include "assets/*" --include "css/*" --include "files/*"
  

• 验证工作目录一致性：在sync命令前添加pwd命令，确认流水线执行时的当前目录与本地测试一致，避免路径不匹配导致过滤失效。
• 升级AWS CLI版本：旧版本AWS CLI存在过滤器逻辑bug，在流水线中先执行升级操作（以Ubuntu Runner为例）：

  apt-get update && apt-get install -y awscli
  

• 测试同步范围：添加--dryrun参数预览同步文件列表，确认过滤规则生效：

  aws s3 sync . "s3://$BUCKET_NAME" --exclude "*" --include "assets/*" --include "css/*" --include "files/*" --dryrun
  

二、ListObjectsV2权限拒绝问题 #

排查与修复步骤： #

• 验证AWS凭证有效性：在流水线中执行以下命令，确认当前使用的IAM身份正确：

  aws sts get-caller-identity
  

  确保GitLab CI/CD变量中配置的AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY属于目标IAM用户，无拼写错误。
• 检查桶策略配置：
  • 替换桶策略中的占位符为实际桶名，比如将arn:aws:s3:::bucket改为arn:aws:s3:::your-real-bucket-name，确保资源ARN完全匹配。
  • 确认IAM用户的ARN在桶策略的Principal中正确配置，无打码或拼写错误。
• 排查权限覆盖问题：在IAM控制台查看该用户的所有附加策略，确认没有拒绝类策略（Effect: Deny）覆盖S3全权限。
• 指定桶区域：如果桶与GitLab Runner不在同一AWS区域，在sync命令中添加--region参数：

  aws s3 sync . "s3://$S3_BUCKET" --size-only --region your-bucket-region
  

• 测试基础列表权限：执行aws s3 ls s3://$S3_BUCKET，若同样报错，重点排查凭证和策略；若能正常列出，则检查sync命令的其他参数。

内容的提问来源于stack exchange，提问作者Habil