多阶段并行构建中APT缓存锁竞争问题及解决方案咨询

问题背景 #

使用多阶段Docker构建时，两个阶段均需安装APT包，为避免重复下载，在两个阶段中通过--mount=type=cache共享挂载/var/cache/apt缓存目录，但并行构建时触发APT锁竞争错误：

43.24 E: Could not get lock /var/cache/apt/archives/lock. It is held by process 0
43.24 E: Unable to lock directory /var/cache/apt/archives/

注意：-o DPkg::Lock::Timeout=180选项无效，该配置仅针对dpkg而非APT。

可行解决方案实现 #

1. 为每个阶段配置独立APT缓存（推荐） #

通过--mount的id参数为不同阶段指定独立缓存标识，避免共享缓存导致的锁竞争。修改后的Dockerfile如下：

FROM debian:bookworm-20230919 as builder
RUN rm -f /etc/apt/apt.conf.d/docker-clean
# 为builder阶段指定独立缓存id
RUN --mount=type=cache,target=/var/cache/apt,id=apt-cache-builder apt update && apt -y --no-install-recommends install build-essential
# build stuff, result in /tmp/build

FROM debian:bookworm-20230919 as production
RUN rm -f /etc/apt/apt.conf.d/docker-clean
# 为production阶段指定独立缓存id
RUN --mount=type=cache,target=/var/cache/apt,id=apt-cache-production apt update && apt -y --no-install-recommends install vim
# install stuff via --mount=target=/build,from=builder,source=/tmp/build

每个阶段的缓存独立存储，既保留了缓存优势，又避免了锁冲突。

2. 强制构建串行执行 #

如果不介意串行构建，有两种实现方式：

• 方式一：使用Docker官方选项（Docker 23.0+）
  构建时添加--no-parallel参数，直接禁用并行构建：

  docker build --no-parallel -t my-image .
  

• 方式二：通过阶段依赖强制串行
  在production阶段添加对builder阶段的空依赖，让Docker认为必须先完成builder阶段才能构建production：

  FROM debian:bookworm-20230919 as builder
  RUN rm -f /etc/apt/apt.conf.d/docker-clean
  RUN --mount=type=cache,target=/var/cache/apt apt update && apt -y --no-install-recommends install build-essential
  # build stuff, result in /tmp/build
  
  FROM debian:bookworm-20230919 as production
  # 添加空依赖，强制依赖builder阶段
  COPY --from=builder /dev/null /tmp/dummy
  RUN rm -f /etc/apt/apt.conf.d/docker-clean
  RUN --mount=type=cache,target=/var/cache/apt apt update && apt -y --no-install-recommends install vim
  # install stuff via --mount=target=/build,from=builder,source=/tmp/build
  

3. APT等待锁释放：暂不可行 #

目前APT官方没有提供等待锁释放的配置选项，该思路无法实现，不建议尝试hack手段。

内容的提问来源于stack exchange，提问作者eudoxos