如何将Gitlab CI_JOB_TOKEN经Cloud Build传入Dockerfile安装私有依赖？

背景 #

• 目标：用Gitlab CI/CD结合GCP Cloud Build构建Python脚本的Docker镜像
• 依赖管理：使用Poetry
• 特殊依赖：其中一个依赖是Gitlab私有包仓库中的Python包
• 需求：将Gitlab CI/CD的$CI_JOB_TOKEN环境变量通过Cloud Build传入Docker，让Poetry能安装该私有依赖
• 现状：硬编码凭证到Dockerfile时一切正常，但使用$CI_JOB_TOKEN变量就失败

配置文件 #

.gitlab-ci.yml #

...
.build:
  image:
    name: google/cloud-sdk:latest
  script:
    - gcloud builds submit --config=cloudbuild.yaml --substitutions=_CI_JOB_TOKEN="$CI_JOB_TOKEN"
...

cloudbuild.yaml #

steps:
  - name: 'gcr.io/cloud-builders/docker'
    entrypoint: bash
    args:
      - -c
      - |
         DOCKER_BUILDKIT=1 docker build -t target --build arg=CI_JOB_TOKEN=${_CI_JOB_TOKEN} .

substitutions:
  _CI_JOB_TOKEN: replace at runtime

Dockerfile #

FROM python:3.11.5-slim as python-base

# 安装Poetry
RUN --mount-type=cache,target=/root/.cache \
  curl -sSL https://install.python-poetry.org | python -

WORKDIR /app
COPY poetry.lock pyproject.toml ./
COPY python_scripts/ python_scripts/

# 使用CI_JOB_TOKEN认证Gitlab包仓库
ARG CI_JOB_TOKEN

RUN poetry config http-basic.gitlab gitlab-ci-token $CI_JOB_TOKEN

# 安装依赖
RUN --mount=type=cache,target=/root/.cache \
  poetry install --no-root --only-main

流水线错误日志 #

#19 7.513   RuntimeError
#19 7.513 
#19 7.513   Unable to find installation candidates for package_name (0.1.4)
#19 7.513 
#19 7.513   at /opt/poetry/venv/lib/python3.11/site-packages/poetry/installation/chooser.py:74 in choose_for
#19 7.532        70│ 
#19 7.532        71│             links.append(link)
#19 7.532        72│ 
#19 7.532        73│         if not links:
#19 7.532     →  74│             raise RuntimeError(f"Unable to find installation candidates for {package}")
#19 7.533        75│ 
#19 7.533        76│         # Get the best link
#19 7.533        77│         chosen = max(links, key=lambda link: self._sort_key(package, link))
#19 7.533        78│ 
#19 7.533 
#19 7.533 Cannot install package_name.
#19 7.533
#19 ERROR: executor failed running [/bin/sh -c poetry install --no-root --only main]: exit code: 1
------
 > [builder-base 8/8] RUN --mount=type=cache,target=/root/.cache     poetry install --no-root --only main:
------
executor failed running [/bin/sh -c poetry install --no-root --only main]: exit code: 1
ERROR
ERROR: build step 0 "gcr.io/cloud-builders/docker" failed: step exited with non-zero status: 1

问题排查与解决方案 #

你的配置存在几个关键错误，导致CI_JOB_TOKEN未正确传递或生效：

1. Docker构建参数语法错误
   cloudbuild.yaml中--build arg是错误写法，正确的Docker构建参数是--build-arg（连字符连接），这个错误直接导致CI_JOB_TOKEN没有传入Docker构建流程。修改后的cloudbuild.yaml步骤：

   args:
     - -c
     - |
        DOCKER_BUILDKIT=1 docker build -t target --build-arg CI_JOB_TOKEN=${_CI_JOB_TOKEN} .
   

2. Poetry仓库配置不匹配
   确保pyproject.toml中已正确配置Gitlab私有仓库，且仓库名称与poetry config http-basic.gitlab中的gitlab标识符对应。示例配置：

   [[tool.poetry.source]]
   name = "gitlab"
   url = "https://gitlab.com/api/v4/projects/<你的项目ID>/packages/pypi/simple"
   default = false
   secondary = true
   

   如果你的私有仓库在pyproject.toml中命名不是gitlab，需要同步调整poetry config http-basic.<仓库名>的对应名称。

3. CI_JOB_TOKEN权限不足
   确认Gitlab的CI_JOB_TOKEN有权限访问目标私有包：

   • 在私有包所在的Gitlab项目中，进入设置 → 权限 → 项目访问令牌，确认CI_JOB_TOKEN对应的角色（默认是developer）拥有读取包的权限；
   • 若跨项目访问私有包，需在目标项目的设置 → CI/CD → 令牌权限中，启用作业令牌作用域并添加允许访问的项目。

4. 缓存干扰问题
   由于使用了BuildKit缓存，之前错误的构建缓存可能导致凭证未更新。可临时添加--no-cache参数禁用缓存验证：

   DOCKER_BUILDKIT=1 docker build --no-cache -t target --build-arg CI_JOB_TOKEN=${_CI_JOB_TOKEN} .
   

内容的提问来源于stack exchange，提问作者atomheartbrother