Docker多阶段构建转Apptainer镜像时构建失败的解决方案咨询

问题背景 #

要运行Intel提供的GPT-J推理代码，原环境采用Docker多阶段构建（对应Dockerfile_int4），但使用Apptainer时，转换后的定义文件构建时出现权限错误：

INFO:    Adding environment to container
FATAL:   While performing build: conveyor failed to get: reading manifest latest in docker.io/library/dev-base: errors:
denied: requested access to the resource is denied
unauthorized: authentication required

删除对应dev-base阶段的条目后，又因依赖缺失出现新错误，需要明确Docker多阶段构建到Apptainer的正确转换方式。

问题根源 #

Dockerfile中的dev-base是自定义私有/内部基础镜像，并非Docker Hub公共镜像，因此Apptainer直接拉取会触发权限拒绝；同时Docker多阶段构建的阶段间依赖不能直接删除，否则后续步骤会缺失必要的环境或文件。

正确转换方法 #

1. 拆分多阶段构建逻辑，手动合并到Apptainer定义文件 #

Docker多阶段构建的核心是分阶段构建环境、复制产物，Apptainer没有原生多阶段语法，可按以下步骤处理：

• 找到原Dockerfile中dev-base阶段的完整构建逻辑（比如该镜像可能基于Ubuntu/CentOS，安装了编译工具、依赖包等），将这些步骤复制到Apptainer定义文件的%post块中，替代直接拉取dev-base的指令。
• 原Dockerfile后续阶段（如conda阶段）的COPY --from=dev-base等复制指令，可直接调整为在同一个%post块中按顺序执行，或通过Apptainer的%files块复制本地文件。

示例（简化版）：

Bootstrap: docker
From: ubuntu:20.04

%post
    # 原dev-base阶段的构建步骤
    apt-get update && apt-get install -y build-essential git
    # 原conda阶段的构建步骤
    wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
    bash Miniconda3-latest-Linux-x86_64.sh -b -p /opt/conda
    rm Miniconda3-latest-Linux-x86_64.sh

2. 使用Apptainer原生多阶段转换参数 #

如果所有阶段的镜像都能被访问（私有镜像需先登录），可直接使用--docker-multistage参数转换构建：

• 登录私有镜像仓库（若需要）：

  apptainer login docker.io
  

• 转换并构建，指定最终使用的阶段（数字对应Dockerfile中阶段的顺序，从0开始）：

  apptainer build --docker-multistage 2 gptj-int4.sif path/to/Dockerfile_int4
  

  注：这里的2需根据原Dockerfile的最后阶段调整，确保最终镜像对应Dockerfile的产出阶段。

3. 处理私有镜像依赖 #

如果dev-base是私有仓库镜像，需确保Apptainer已登录对应仓库，或在定义文件中添加认证信息（不推荐明文，优先使用apptainer login）。

内容的提问来源于stack exchange，提问作者Krishna