关于基于BitBucket私有仓库与VertexAI构建CI/CD Pipeline的技术问询

实现流程 #

BitBucket Pipelines配合Google Cloud服务账号就能完成从私有仓库到Vertex AI的CI/CD闭环，核心步骤如下：

1. 配置GCP服务账号与BitBucket变量 #

• 创建GCP服务账号，赋予Vertex AI部署权限、Artifact Registry读写权限，导出JSON格式的密钥文件。
• 打开BitBucket目标仓库的「仓库设置 > 变量」，添加以下变量：
  • GCP_SERVICE_ACCOUNT_KEY：粘贴服务账号密钥内容
  • GCP_PROJECT_ID：你的GCP项目ID
  • GCP_REGION：部署目标区域（如us-central1）

2. 编写BitBucket Pipelines配置文件 #

在仓库根目录创建bitbucket-pipelines.yml，示例配置如下：

image: google/cloud-sdk:latest

pipelines:
  branches:
    main:
      - step:
          name: 构建镜像并部署到Vertex AI
          script:
            # 完成GCP认证
            - echo "$GCP_SERVICE_ACCOUNT_KEY" > gcp-key.json
            - gcloud auth activate-service-account --key-file=gcp-key.json
            - gcloud config set project "$GCP_PROJECT_ID"
            - gcloud config set compute/region "$GCP_REGION"

            # 构建并推送模型镜像到Artifact Registry
            - IMAGE_URI="$GCP_REGION-docker.pkg.dev/$GCP_PROJECT_ID/vertex-repos/my-custom-model:latest"
            - docker build -t "$IMAGE_URI" .
            - gcloud auth configure-docker "$GCP_REGION-docker.pkg.dev"
            - docker push "$IMAGE_URI"

            # 上传模型到Vertex AI并部署到Endpoint
            - MODEL_ID=$(gcloud ai models upload --display-name="custom-model" --container-image-uri="$IMAGE_URI" --format="value(name)")
            - # 若已有Endpoint，执行部署命令：gcloud ai endpoints deploy-model [ENDPOINT_ID] --model="$MODEL_ID"

3. 关键细节提示 #

• 模型镜像的Dockerfile必须符合Vertex AI规范：指定预测接口路径（默认/predict）、监听端口（默认8080），确保镜像能正常响应预测请求。
• 建议给服务账号配置最小权限，比如仅允许操作指定的Artifact Registry仓库和Vertex AI Endpoint。
• 可在Pipeline中加入模型测试步骤，比如调用本地容器的预测接口验证功能，避免无效部署。

实际实践案例 #

一家 SaaS 公司的机器学习团队用这套流程实现了模型的自动化迭代：

• 代码提交到dev分支后，自动触发单元测试、模型训练效果校验，通过后才能合并到main分支。
• 合并到main分支后，先部署到Vertex AI的预生产Endpoint，触发线上测试；测试通过后，手动审批部署到生产环境。
• 利用BitBucket的缓存机制，缓存Python依赖包和镜像层，将Pipeline的执行时间从38分钟压缩到12分钟。

内容的提问来源于stack exchange，提问作者Shadab Hussain