使用Kaniko构建RHEL8 Docker容器时PIP依赖致磁盘不足咨询

一、自动安装的额外包是否必需？ #

• nvidia-cublas-cu11、nvidia-cudnn-cu11：这两个是PyTorch的CUDA加速依赖包，仅当容器需要GPU加速时才是必需的；如果只使用CPU进行推理或训练，完全可以去掉，这两个包合计占用近900M，是空间占用的核心来源。
• MarkupSafe、blis等小型依赖：这些是你指定库的间接依赖（比如blis是spacy的底层加速库，MarkupSafe是jinja2的依赖，而jinja2可能被某个NLP库调用），属于运行必需的依赖，无法省略，但体积很小，不是空间问题的关键。

二、磁盘空间占用问题的解决方案 #

1. 切换为CPU版PyTorch（最有效） #

直接在requirements.txt中指定CPU版本的Torch，避免下载CUDA相关的大体积依赖：

# 替换成你实际使用的Torch版本，示例为2.0.0
torch==2.0.0+cpu --index-url https://download.pytorch.org/whl/cpu
torchvision==0.15.1+cpu --index-url https://download.pytorch.org/whl/cpu
transformers==4.29.2
# 其他依赖保持不变
joblib==1.2.0
nltk==3.8
numpy==1.24.3
pandas==2.0.1
scikit-learn==1.2.2
scipy==1.10.1
spacy==3.5.3

2. 优化pip安装命令，清理缓存 #

在Dockerfile的安装命令中添加--no-cache-dir参数，禁止pip缓存下载的包，同时安装后清理pip缓存目录：

RUN python3.8 -m pip install --no-cache-dir -r requirements.txt && rm -rf /root/.cache/pip

该命令能减少构建过程中临时文件的空间占用。

3. 使用Docker多阶段构建（核心优化） #

将构建过程拆分为两个阶段，仅把运行必需的文件复制到最终镜像，丢弃构建阶段的临时文件和缓存：

# 第一阶段：构建依赖
FROM registry.access.redhat.com/ubi8/ubi:latest AS builder
# 安装基础依赖并清理dnf缓存
RUN dnf install -y python3.8 python3-pip && dnf clean all
# 复制requirements文件
COPY requirements.txt .
# 将依赖安装到指定目录
RUN python3.8 -m pip install --no-cache-dir -r requirements.txt --target /app/deps

# 第二阶段：生成最终镜像
FROM registry.access.redhat.com/ubi8/ubi:latest
# 仅安装运行必需的系统依赖
RUN dnf install -y python3.8 && dnf clean all
# 从构建阶段复制已安装的Python依赖
COPY --from=builder /app/deps /usr/local/lib/python3.8/site-packages
# 复制你的应用代码
COPY . /app
WORKDIR /app

这种方式能大幅减少最终镜像的体积，同时避免构建阶段的临时文件占用Kaniko的磁盘空间。

4. 调整Kaniko构建参数 #

• 除了--single-snapshot，添加--cache=false禁用镜像层缓存，避免旧缓存占用空间；如果需要缓存，可配置--cache-repo将缓存存储到外部仓库。
• 在GitLab CI的Runner配置中，开启构建后清理工作目录的策略，确保每次构建有足够的干净空间。

5. 清理RHEL8系统缓存 #

在安装系统包前后执行dnf clean all，清理dnf的缓存文件：

RUN dnf install -y python3.8 python3-pip && dnf clean all

内容的提问来源于stack exchange，提问作者Nysa-522