GitLab CI中为S3存储桶Jar文件追加最后修改时间戳的问题排查

常见失败原因 #

• LAST_MODIFIED变量未正确初始化：本地执行时你可能手动提前获取了时间戳变量，但GitLab CI的每个job都是独立的隔离环境，变量不会自动带入，必须在job脚本内显式获取。
• 时间戳格式含特殊字符：S3返回的原始最后修改时间包含冒号（:），部分shell环境下直接用作文件名会触发解析错误，或是在变量展开时出现异常。
• AWS权限不足：GitLab CI配置的AWS凭证缺少目标桶的GetObject（读取原文件）和PutObject（写入备份文件）权限，导致复制操作被拒绝。
• Shell环境差异：本地通常用bash，但GitLab CI默认可能使用sh，两者在变量解析、命令语法上存在差异，导致脚本执行失败。

分步解决办法 #

1. 在CI脚本内正确获取并格式化时间戳 #

不要依赖外部变量，直接在job中通过aws s3api head-object获取文件的最后修改时间，并处理掉可能引发问题的特殊字符：

# 获取S3文件的最后修改时间，将冒号替换为横杠，避免shell解析问题
LAST_MODIFIED=$(aws s3api head-object --bucket app-jars --key app-0.0.1-SNAPSHOT.jar --query 'LastModified' --output text | tr ':' '-')

执行后会得到类似2024-02-19T01-24-27+00-00的格式，既保留时区信息，又避免了特殊字符的干扰。

2. 执行S3复制命令 #

用处理好的变量执行复制：

aws s3 cp s3://app-jars/app-0.0.1-SNAPSHOT.jar s3://app-jars/fallback-jars/app-0.0.1-SNAPSHOT-fallback-$LAST_MODIFIED.jar

3. 验证AWS权限配置 #

确保GitLab CI中配置的AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY对应的IAM用户拥有以下权限：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:PutObject"],
      "Resource": [
        "arn:aws:s3:::app-jars/app-0.0.1-SNAPSHOT.jar",
        "arn:aws:s3:::app-jars/fallback-jars/*"
      ]
    }
  ]
}

4. 强制使用bash作为执行shell #

在GitLab CI配置中指定bash，避免sh的兼容性问题：

your_backup_job:
  script:
    - LAST_MODIFIED=$(aws s3api head-object --bucket app-jars --key app-0.0.1-SNAPSHOT.jar --query 'LastModified' --output text | tr ':' '-')
    - aws s3 cp s3://app-jars/app-0.0.1-SNAPSHOT.jar s3://app-jars/fallback-jars/app-0.0.1-SNAPSHOT-fallback-$LAST_MODIFIED.jar
  variables:
    SHELL: /bin/bash

完整GitLab CI配置示例 #

stages:
  - jar_backup

backup_app_jar:
  stage: jar_backup
  image: amazon/aws-cli:latest  # 使用官方AWS CLI镜像，版本兼容有保障
  variables:
    SHELL: /bin/bash
    S3_BUCKET: app-jars
    SOURCE_JAR: app-0.0.1-SNAPSHOT.jar
    FALLBACK_DIR: fallback-jars/
  script:
    # 获取并格式化时间戳
    - LAST_MODIFIED=$(aws s3api head-object --bucket $S3_BUCKET --key $SOURCE_JAR --query 'LastModified' --output text | tr ':' '-')
    # 拼接目标文件名
    - TARGET_JAR="${FALLBACK_DIR}${SOURCE_JAR%.jar}-fallback-${LAST_MODIFIED}.jar"
    # 执行复制操作
    - aws s3 cp s3://${S3_BUCKET}/${SOURCE_JAR} s3://${S3_BUCKET}/${TARGET_JAR}
    # 调试用：输出最终目标路径
    - echo "备份文件已生成：s3://${S3_BUCKET}/${TARGET_JAR}"
  only:
    - main  # 根据实际需求调整触发分支或事件

额外调试技巧 #

• 在脚本中加入echo $LAST_MODIFIED，确认时间戳是否正确获取，排除变量为空的情况。
• 如果复制时报权限错误，可在job中执行aws sts get-caller-identity，验证当前使用的AWS身份是否正确。
• 若使用私有GitLab Runner，需确保runner所在网络能正常访问AWS S3服务。

内容的提问来源于stack exchange，提问作者peekacode