如何用gcloud Bash命令检查GCS文件存在及GitLab流水线高效校验方法

有两种常用且可靠的方式，基于命令的退出码判断文件状态：

方法一：通过gsutil stat命令判断 #

gsutil stat会在目标对象存在时返回退出码0，不存在时返回非0值，适合嵌入Bash脚本：

#!/bin/bash
GCS_FILE_PATH="gs://your-bucket-name/path/to/target-file.ext"

# 屏蔽命令输出，仅关注退出码
if gsutil stat "$GCS_FILE_PATH" >/dev/null 2>&1; then
    echo "文件存在"
else
    echo "文件不存在"
fi

方法二：使用gcloud storage objects describe命令 #

这是gcloud CLI的原生对象查询命令，逻辑与gsutil一致，适合统一使用gcloud生态的场景：

#!/bin/bash
GCS_FILE_PATH="gs://your-bucket-name/path/to/target-file.ext"

if gcloud storage objects describe "$GCS_FILE_PATH" >/dev/null 2>&1; then
    echo "文件存在"
else
    echo "文件不存在"
fi

需结合GitLab CI/CD的特性，兼顾权限安全、执行效率和重试机制，具体实现如下：

前置配置：GCP权限与GitLab变量 #

• 在GCP中创建拥有storage.objects.get权限的服务账号（可通过Storage Object Viewer角色授予），导出其JSON密钥
• 在GitLab项目的Settings > CI/CD > Variables中添加：
  • GCP_SERVICE_ACCOUNT_KEY：类型选择File，值为服务账号JSON密钥内容
  • GCP_PROJECT_ID：值为你的GCP项目ID

GitLab CI配置示例 #

使用官方的google/cloud-sdk镜像，避免手动依赖安装，同时添加重试机制提升可靠性：

check-gcs-deploy-file:
  image: google/cloud-sdk:latest
  stage: pre-deploy
  script:
    # 激活服务账号认证
    - gcloud auth activate-service-account --key-file="$GCP_SERVICE_ACCOUNT_KEY" --project="$GCP_PROJECT_ID"
    # 定义要检查的GCS文件路径
    - export TARGET_GCS_PATH="gs://your-bucket-name/deploy/package.tar.gz"
    # 检查文件存在性，不存在则终止流水线
    - if ! gcloud storage objects describe "$TARGET_GCS_PATH" >/dev/null 2>&1; then
        echo "错误：部署所需文件不存在于GCS"
        exit 1
      fi
    - echo "GCS文件验证通过，进入部署阶段"
  only:
    - main # 仅在主分支触发检查
  retry: 1 # 网络波动时自动重试1次
  allow_failure: false # 文件不存在时强制终止流水线，可根据需求调整

优化技巧 #

• 前置检查：将该任务放在部署阶段的前置阶段（如pre-deploy），避免后续无效的部署操作
• 复用认证：如果流水线中有多个GCP相关任务，可将认证步骤抽至before_script中
• 自定义逻辑：若文件不存在无需终止流水线，可移除exit 1并设置allow_failure: true，同时添加后续分支逻辑

内容的提问来源于stack exchange，提问作者sg_rs