如何通过共享Python虚拟环境包优化Docker镜像大小？

一、选择轻量基础镜像 #

放弃完整Python镜像，改用slim或alpine变体直接压缩基础体积：

• python:3.x-slim-bookworm：基于Debian slim，兼容性强，体积约200MB（远小于1GB+的full镜像）
• python:3.x-alpine：体积仅约50MB，若你的软件包（如dbt）无特殊编译依赖，优先选这个；注意部分依赖因musl libc兼容性可能需要额外处理

二、多阶段构建分离编译与运行环境 #

用构建阶段处理依赖安装，运行阶段仅复制最终venv，避免携带编译工具、缓存等冗余文件：

# 构建阶段：负责创建venv并安装依赖
FROM python:3.11-slim-bookworm AS builder
WORKDIR /app

# 先复制所有requirements文件，利用Docker层缓存——只要requirements不变，这层就不会重新构建
COPY resources/requirements/ ./resources/requirements/

# 循环创建各版本venv并安装依赖
RUN set -ex; \
    # 替换为实际需要构建的版本列表
    for version in 1.0 2.0 3.0; do \
        python3 -m venv "package-$version"; \
        # 用.代替source，兼容更多shell
        . "package-$version/bin/activate"; \
        export PIP_DISABLE_PIP_VERSION_CHECK=1; \
        pip config set global.parallel true; \
        pip config set global.prefer-binary true; \
        # --no-cache-dir避免缓存占用空间
        pip install --no-cache-dir -r "resources/requirements/requirements.$version.txt"; \
        # 清理venv内冗余文件
        rm -rf "package-$version/lib/python3.11/site-packages/__pycache__"; \
        rm -rf "package-$version/lib/python3.11/site-packages/*/__pycache__"; \
        # 移除运行时不需要的pip、easy_install
        rm -rf "package-$version/bin/pip*"; \
        rm -rf "package-$version/bin/easy_install*"; \
    done; \
    # 清理全局pip缓存
    rm -rf /root/.cache/pip

# 运行阶段：仅保留必要的venv和基础Python环境
FROM python:3.11-slim-bookworm
WORKDIR /app

# 从构建阶段复制所有venv到运行镜像
COPY --from=builder /app/package-* ./

# 设置默认PATH，用户可通过修改PATH切换版本
ENV PATH="/app/package-1.0/bin:$PATH"

# 可选：添加切换版本的快捷命令
RUN echo 'switch-package() { export PATH="/app/package-$1/bin:$PATH"; }' >> /root/.bashrc

三、优化构建缓存，缩短构建时间 #

1. 拆分版本安装层：将每个版本的venv安装拆分为单独的RUN指令，仅修改某版本的requirements时，仅需重新构建对应层，其他层直接复用缓存：

# 构建阶段内替换循环为单独RUN
RUN set -ex; \
    version=1.0; \
    python3 -m venv "package-$version"; \
    . "package-$version/bin/activate"; \
    export PIP_DISABLE_PIP_VERSION_CHECK=1; \
    pip config set global.parallel true; \
    pip config set global.prefer-binary true; \
    pip install --no-cache-dir -r "resources/requirements/requirements.$version.txt"; \
    rm -rf "package-$version/lib/python3.11/site-packages/__pycache__"; \
    rm -rf "package-$version/bin/pip*"; \
    rm -rf "package-$version/bin/easy_install*"

RUN set -ex; \
    version=2.0; \
    python3 -m venv "package-$version"; \
    . "package-$version/bin/activate"; \
    export PIP_DISABLE_PIP_VERSION_CHECK=1; \
    pip config set global.parallel true; \
    pip config set global.prefer-binary true; \
    pip install --no-cache-dir -r "resources/requirements/requirements.$version.txt"; \
    rm -rf "package-$version/lib/python3.11/site-packages/__pycache__"; \
    rm -rf "package-$version/bin/pip*"; \
    rm -rf "package-$version/bin/easy_install*"

2. 开启Docker BuildKit：构建时添加前缀，支持并行构建、增量缓存等特性，大幅提速：

DOCKER_BUILDKIT=1 docker build -t multi-version-package .

四、额外体积优化技巧 #

• 保持注释pip install --upgrade pip：基础镜像的pip版本足够使用，升级只会增加镜像体积
• 清理临时文件：在构建阶段RUN指令末尾，删除所有不必要的临时文件、日志、缓存
• 复用共同依赖（可选）：若多个版本有大量共同依赖，可先创建基础venv安装共同依赖，再基于此创建各版本venv（注意版本隔离，仅适用于共同依赖占比高的场景）

内容的提问来源于stack exchange，提问作者maxisme