缩减机器学习相关Docker镜像体积的最佳实践有哪些

6G的深度学习部署镜像属于典型的未做精简的状态，按下面的步骤操作一般能压到1-2G甚至更小，不会影响推理功能。

基础镜像选型 #

• 拒绝用完整版基础镜像：GPU部署优先选NVIDIA官方的runtime版本CUDA镜像，绝对不要用devel版本——后者带了全套编译工具链，同版本下比runtime镜像大2-3G，部署阶段根本用不到编译组件；CPU部署直接选slim后缀的Python官方镜像，比完整版Python镜像小80%以上。
• 服务稳定后可以换distroless镜像，这类镜像剔除了shell、包管理器等所有非运行必需的系统组件，体积更小、安全面更高，缺点是出问题时没法直接exec进容器调试，不适合开发阶段用。
• 别硬上Alpine镜像做深度学习部署：Alpine基于musl libc，和CUDA、PyTorch/TensorFlow的预编译包兼容性极差，折腾依赖的时间成本远高于省下来的体积，还容易出玄学推理错误。

依赖安装阶段瘦身 #

• 系统依赖只装运行必需项：build-essential、git、vim这类编译、调试工具只在构建阶段用的话，不要装到最终运行镜像里。所有apt安装命令执行完必须跟清理语句：apt-get clean && rm -rf /var/lib/apt/lists/*，避免apt缓存残留在镜像层占空间。
• Python依赖做裁剪：
  • 安装时必须加--no-cache-dir参数，不要留pip安装缓存；
  • 拆分依赖清单，把jupyter、tensorboard、matplotlib这类训练、调试用的依赖从部署依赖里删掉，只留推理服务必需的包；
  • 大包按需安装：比如PyTorch不要装默认全量版本，指定对应CUDA版本的wheel安装，别顺带装了不需要的ROCm、AVX512等多余架构支持包，安装完可以手动删掉site-packages里对应其他架构、其他计算后端的文件夹，单这一步就能省几百MB到1G空间。
• 模型文件不要硬塞镜像：优先用INT8/FP16量化、ONNX/TensorRT优化后的小体积模型，比原始FP32模型小70%以上，推理速度还更快；如果模型体积超过1G，建议不要直接COPY进镜像，启动容器时通过挂载存储卷动态拉取即可，能大幅降低镜像分发成本。

必须用多阶段构建 #

这是瘦身收益最高的手段，至少能砍掉镜像一半以上的冗余体积。核心逻辑是把编译、依赖安装的过程全部放到带全套工具的构建阶段镜像里做，最终运行镜像只拷贝编译好的运行产物，所有构建垃圾（编译器、源码、临时缓存、调试工具）全部留在构建阶段，不会进入最终镜像。
简单参考示例：

# 第一阶段：构建环境，用带编译工具的大镜像
FROM nvidia/cuda:12.1.1-devel-ubuntu22.04 AS builder
RUN apt-get update && apt-get install -y --no-install-recommends python3 python3-pip python3-venv
# 创建独立虚拟环境装依赖，方便后续整体拷贝
RUN python3 -m venv /opt/venv
ENV PATH="/opt/venv/bin:$PATH"
COPY requirements-prod.txt .
# 安装所有运行依赖，包括需要编译的自定义CUDA算子
RUN pip install --no-cache-dir -r requirements-prod.txt
RUN pip install --no-cache-dir <自定义算子编译安装命令>

# 第二阶段：最终运行环境，用最小runtime镜像
FROM nvidia/cuda:12.1.1-runtime-ubuntu22.04
# 只从构建阶段拷贝装好依赖的虚拟环境，不带任何编译组件
COPY --from=builder /opt/venv /opt/venv
ENV PATH="/opt/venv/bin:$PATH"
WORKDIR /app
COPY ./inference_code .
CMD ["python3", "main.py"]

镜像层细节优化 #

• 一定要写.dockerignore文件，避免把本地无关文件打进镜像：常见的需要忽略的内容包括本地虚拟环境目录、__pycache__缓存、.git目录、本地存的大模型权重、训练数据集、日志文件、notebook调试文件等，很多人镜像平白多2-3G都是因为没写这个文件，把本地杂七杂八的东西全拷进去了。参考配置：

.venv
__pycache__
*.pyc
.git
*.pt
*.pth
*.bin
dataset/
logs/
*.ipynb
.vscode/

• 合并RUN指令：把同类型的操作写到同一个RUN命令里，减少镜像层数量，同时避免临时文件残留在中间层。比如不要把apt update、apt install、缓存清理分成三个RUN写，必须合并成一行执行。
• 基础镜像固定版本号，不要用latest标签，避免拉到未精简的新版本镜像出现体积反弹。
• 做完以上步骤后可以用docker-slim工具做二次压缩，工具会自动分析容器运行时实际调用的依赖，剔除所有没被用到的文件，一般还能再压30%-50%，注意压缩后必须全量测试推理功能，避免误删依赖。

常见踩坑 #

• 不要为了追求极致体积删掉系统层面的基础依赖，比如NVIDIA镜像里的cuda库、glibc组件，删错了会直接导致推理报错。
• 不要把模型转换、量化的步骤放到最终运行镜像里做，这些操作提前在构建阶段或者本地做完，最终镜像只留转换好的可直接运行的模型文件。

内容的提问来源于stack exchange，提问作者Newcomer