如何自动拆分60GB Docker层为2-6GB小层以提升性能？

我在Docker镜像中安装AMD/Xilinx Vivado时，即便选择近乎最小化安装，镜像大小仍达60GB，压缩后为29GB，完整安装则约150GB。

镜像构建步骤 #

• 使用Docker Hub中的debian:bookworm-slim基础镜像
• 引入python:3.12-slim以添加Python 3.12环境
• 通过apt install ...安装Vivado所需的依赖包
• 执行./xsetup ...完成近乎最小化的Vivado安装

镜像传输与解压问题 #

上传问题 #

• 在1GbE网络环境下，dockerd的推送速度约为135 Mb/s

下载问题 #

• dockerd最多支持3个并行下载线程，docker pull速度可达975 Mb/s（1GbE网络上限）
• 下载的层需完全下载完成后才能解压，无法边下载边解压

手动拆分层后的性能测试 #

我采用多阶段构建拆分大层：在阶段1安装Vivado，阶段2挂载阶段1的层，通过RUN --mount... cp -r SRC DEST创建15个大小在1.5-8.8GB之间的层，测试结果如下：

docker push表现 #

• dockerd最多支持5个并行上传线程
• 并行上传速度约为550 Mb/s，是单线程上传速度的5倍

docker pull表现 #

• 单个60GB大层的下载耗时与15个小层（3个并行线程）的下载耗时相同，均为5分钟，受限于1GbE网络带宽
• 拆分后的15层镜像更高效：已下载完成的层可由单个线程即时解压，其余层仍在下载，总耗时为5分钟下载+2分钟剩余层解压，共7分钟
• 单个大层镜像耗时翻倍：下载耗时5分钟，单线程解压耗时8分钟，总耗时13分钟

如何通过脚本自动将60GB级别的Docker层拆分为2-6GB的小层？

初步思路 #

1. 启动镜像并在容器内执行脚本，递归遍历Vivado安装目录，通过du -sh对目录进行分类：
   • 大小≥8GB：继续递归拆分内容
   • 大小≥1GB：将该目录或单个文件加入层列表
   • 其余小文件/目录：归集到单个层中
2. 最终生成嵌套列表（或字典列表），外层用于遍历生成镜像层，内层指定RUN ... cp ...的参数，从之前的构建阶段复制文件到新层
3. 由于Dockerfile无法循环调用RUN命令，需编写脚本生成包含n个RUN命令的次级Dockerfile

手动编写的测试Dockerfile #

ARG REGISTRY
ARG NAMESPACE
ARG IMAGE
ARG IMAGE_TAG
ARG VIVADO_VERSION

FROM ${REGISTRY}/${NAMESPACE}/${IMAGE}:${IMAGE_TAG} as base
ARG VIVADO_VERSION

# Install further dependencies for Vivado
RUN --mount=type=bind,target=/context \
    apt-get update \
 && xargs -a /context/Vivado.packages apt-get install -y --no-install-recommends \
 && rm -rf /var/lib/apt/lists/* \
 && apt-get clean


FROM base as monolithic
ARG VIVADO_VERSION

RUN --mount=type=bind,target=/context \
    --mount=type=bind,from=vivado,target=/Install \
    cd /Install; \
    ./xsetup --batch Install -c /context/Vivado.${VIVADO_VERSION}.cfg --agree XilinxEULA,3rdPartyEULA


FROM base
ARG VIVADO_VERSION

RUN mkdir -p /opt/Xilinx/Vivado/${VIVADO_VERSION}/data/parts/xilinx

RUN --mount=type=bind,from=monolithic,source=/opt/Xilinx/Vivado/${VIVADO_VERSION},target=/Install cp -r /Install/gnu                           /opt/Xilinx/Vivado/${VIVADO_VERSION}
RUN --mount=type=bind,from=monolithic,source=/opt/Xilinx/Vivado/${VIVADO_VERSION},target=/Install cp -r /Install/ids_lite                      /opt/Xilinx/Vivado/${VIVADO_VERSION}
RUN --mount=type=bind,from=monolithic,source=/opt/Xilinx/Vivado/${VIVADO_VERSION},target=/Install cp -r /Install/lib                           /opt/Xilinx/Vivado/${VIVADO_VERSION}
RUN --mount=type=bind,from=monolithic,source=/opt/Xilinx/Vivado/${VIVADO_VERSION},target=/Install cp -r /Install/tps                           /opt/Xilinx/Vivado/${VIVADO_VERSION}
RUN --mount=type=bind,from=monolithic,source=/opt/Xilinx/Vivado/${VIVADO_VERSION},target=/Install cp -r /Install/data/secureip                 /opt/Xilinx/Vivado/${VIVADO_VERSION}/data
RUN --mount=type=bind,from=monolithic,source=/opt/Xilinx/Vivado/${VIVADO_VERSION},target=/Install cp -r /Install/data/xsim                     /opt/Xilinx/Vivado/${VIVADO_VERSION}/data
RUN --mount=type=bind,from=monolithic,source=/opt/Xilinx/Vivado/${VIVADO_VERSION},target=/Install cp -r /Install/data/deca                     /opt/Xilinx/Vivado/${VIVADO_VERSION}/data
RUN --mount=type=bind,from=monolithic,source=/opt/Xilinx/Vivado/${VIVADO_VERSION},target=/Install cp -r /Install/data/ip                       /opt/Xilinx/Vivado/${VIVADO_VERSION}/data
RUN --mount=type=bind,from=monolithic,source=/opt/Xilinx/Vivado/${VIVADO_VERSION},target=/Install cp -r /Install/data/simmodels                /opt/Xilinx/Vivado/${VIVADO_VERSION}/data
RUN --mount=type=bind,from=monolithic,source=/opt/Xilinx/Vivado/${VIVADO_VERSION},target=/Install cp -r /Install/data/parts/xilinx/zynquplus   /opt/Xilinx/Vivado/${VIVADO_VERSION}/data/parts/xilinx
RUN --mount=type=bind,from=monolithic,source=/opt/Xilinx/Vivado/${VIVADO_VERSION},target=/Install cp -r /Install/data/parts/xilinx/virtexuplus /opt/Xilinx/Vivado/${VIVADO_VERSION}/data/parts/xilinx
RUN --mount=type=bind,from=monolithic,source=/opt/Xilinx/Vivado/${VIVADO_VERSION},target=/Install cp -r /Install/data/parts/xilinx/kintexuplus /opt/Xilinx/Vivado/${VIVADO_VERSION}/data/parts/xilinx
RUN --mount=type=bind,from=monolithic,source=/opt/Xilinx/Vivado/${VIVADO_VERSION},target=/Install cp -r /Install/data/parts/xilinx/common      /opt/Xilinx/Vivado/${VIVADO_VERSION}/data/parts/xilinx
RUN --mount=type=bind,from=monolithic,source=/opt/Xilinx/Vivado/${VIVADO_VERSION},target=/Install cp -ru /Install/*                            /opt/Xilinx/Vivado/${VIVADO_VERSION}

# Configure Vivado tools
COPY FlexLM.config.sh Vivado.config.sh /tools/GitLab-CI-Scripts/

内容的提问来源于Stack Exchange，提问作者Paebbels