CI/CD流水线中Dockerfile拉取私有Git仓库失败问题求助

看起来你踩了一个CI/CD Docker构建里的常见坑——本地能正常拉取私有仓库，是因为你的本地Git环境已经悄悄帮你处理了认证（比如凭据助手记住了密码，或者SSH代理在转发你的密钥），但CI/CD环境是完全干净的，Docker构建过程里没有自动带上这些认证信息，导致HTTPS克隆直接失败。

我给你两个靠谱的解决方案，你可以根据自己的场景选择：

方案一：改用SSH地址拉取+正确配置SSH密钥（推荐，更安全） #

你的Dockerfile里已经尝试配置SSH密钥，但犯了两个关键错误：一是把私钥直接存在仓库里（这非常不安全！），二是你依然用HTTPS地址拉取仓库，SSH密钥根本没发挥作用。

修正后的Dockerfile如下：

FROM puckel/docker-airflow:1.10.1
ARG SSH_PRIVATE_KEY  # 从CI/CD环境传递私钥，绝对不要把私钥提交到仓库！
USER root

# 安装必要依赖，openssh-client是SSH连接必须的
RUN apt-get update && apt-get install -y git openssh-client --no-install-recommends && \
    rm -rf /var/lib/apt/lists/*  # 清理APT缓存，减小镜像体积

# 配置SSH，跳过首次连接的主机密钥验证（CI/CD里不需要交互确认）
RUN mkdir -p /root/.ssh && \
    echo "StrictHostKeyChecking no" >> /root/.ssh/config && \
    chmod 600 /root/.ssh/config

# 导入CI/CD传递过来的SSH私钥，必须设置600权限否则SSH会拒绝使用
RUN echo "${SSH_PRIVATE_KEY}" > /root/.ssh/id_rsa && \
    chmod 600 /root/.ssh/id_rsa

# 可选：验证SSH连接是否正常，方便调试构建问题
RUN ssh -T git@private-url || true

# 改用SSH地址安装私有仓库，此时SSH密钥会自动生效
RUN pip install git+ssh://git@private-url/project/repo.git

# 复制你的业务代码和依赖文件
COPY ingest_client.py .
COPY requirements.txt .
RUN pip install -r requirements.txt

# 切回原镜像的airflow用户，避免后续运行Airflow时出现权限问题
USER airflow

CI/CD端配置步骤： #

1. 在你的CI/CD平台（比如GitLab CI、GitHub Actions、Jenkins等）的保密变量里添加SSH_PRIVATE_KEY，值是你的私有Git仓库的SSH私钥（注意是私钥，不是公钥）。
2. 确保该私钥对应的公钥已经添加到私有Git仓库的部署密钥中（记得勾选允许读取权限）。
3. 构建命令里传递这个参数：比如docker build --build-arg SSH_PRIVATE_KEY="$SSH_PRIVATE_KEY" -t your-image .

方案二：使用HTTPS地址+传递认证令牌（适合不能用SSH的场景） #

如果你因为网络或权限限制必须用HTTPS地址，可以用个人访问令牌（PAT）代替密码，通过CI/CD变量传递认证信息：

修改Dockerfile相关部分：

FROM puckel/docker-airflow:1.10.1
ARG GIT_USERNAME
ARG GIT_PAT  # 私有仓库的个人访问令牌，需要有仓库读取权限
USER root

RUN apt-get update && apt-get install -y git --no-install-recommends && \
    rm -rf /var/lib/apt/lists/*

# 用嵌入令牌的HTTPS地址拉取私有仓库
RUN pip install git+https://${GIT_USERNAME}:${GIT_PAT}@private-url/project/repo.git

COPY ingest_client.py .
COPY requirements.txt .
RUN pip install -r requirements.txt

USER airflow

CI/CD端配置步骤： #

1. 在CI/CD平台的保密变量里添加GIT_USERNAME（你的Git用户名）和GIT_PAT（在私有Git平台生成的个人访问令牌）。
2. 构建时传递参数：docker build --build-arg GIT_USERNAME="$GIT_USERNAME" --build-arg GIT_PAT="$GIT_PAT" -t your-image .

重要注意事项 #

• 绝对不要把私钥或令牌硬编码到Dockerfile或仓库里，这会导致敏感信息泄露，一定要用CI/CD的保密变量传递。
• 本地测试时，可以用docker build --build-arg SSH_PRIVATE_KEY="$(cat ~/.ssh/id_rsa)" .来模拟CI/CD的参数传递，验证构建是否正常。
• 原镜像默认用户是airflow，安装完成后记得切回该用户，避免后续运行Airflow时出现权限问题。

内容的提问来源于stack exchange，提问作者OPTIMUS