基于Jenkins与Kubernetes的Docker-in-Docker环境下多阶段构建卡在层间的问题求助

看起来你在切换到Docker-in-Docker（DinD）构建Jenkins集群时遇到了挺棘手的并行构建挂起问题——尤其是处理大镜像层（比如yarn install大量依赖）后，步骤卡在输出阶段，偶尔成功但后续必超时。结合你的配置和日志，我整理了几个针对性的排查和修复方向，你可以逐一尝试：

1. 优先调整DinD容器的资源配置与存储策略 #

你的DinD容器当前配置的CPU上限是2核、内存4G，请求是0.5核、1G，对于并行构建多个Node.js大镜像来说，资源明显不足——Docker构建镜像时，尤其是处理依赖下载、层提交阶段，会消耗大量内存和磁盘IO，资源瓶颈很容易导致进程挂起。

修改建议： #

• 调高DinD容器的资源请求与限制，给足构建所需的资源：

  - name: "docker"
    resources:
      limits:
        memory: "8Gi"
        cpu: "4"
      requests:
        memory: "4Gi"
        cpu: "2"
  

• 优化/var/lib/docker的存储：当前用的是默认emptyDir（节点本地磁盘），如果节点磁盘IO性能差，会导致镜像层提交缓慢甚至卡住。可以尝试用内存文件系统（tmpfs）加速，或者绑定节点的高速磁盘：

  volumes:
  - emptyDir:
      medium: "Memory" # 使用内存作为存储，大幅提升IO速度
      sizeLimit: "6Gi" # 限制大小，避免耗尽节点内存
    name: "docker"
  

2. 调整Docker BuildKit的行为 #

你开启了DOCKER_BUILDKIT=1，BuildKit虽然提升了构建效率，但在DinD环境下可能存在输出缓冲、资源竞争的问题——从你的日志看，yarn步骤已经完成，但Docker迟迟无法进入下一步，很可能是BuildKit的输出缓冲导致Jenkins无法捕获后续日志，误以为任务挂起。

修改建议： #

• 暂时关闭BuildKit测试：把DinD容器的DOCKER_BUILDKIT环境变量改为0，或者直接删除该变量，看是否还会出现挂起。
• 如果保留BuildKit，添加--progress plain参数让日志实时输出，避免缓冲：

  docker build \
   --network host --force-rm \
   --progress plain \ # 强制输出 plain 格式日志，避免缓冲
   --build-arg BUILDKIT_INLINE_CACHE=1 \
   # 其他参数...
  

• 给BuildKit设置并行限制：添加BUILDKIT_MAX_PARALLELISM环境变量到DinD容器，避免资源过载：

  env:
  - name: "BUILDKIT_MAX_PARALLELISM"
    value: "4"
  

3. 限制Jenkins并行构建的数量 #

你的场景是单仓库多Dockerfile并行构建，8个镜像同时构建会瞬间耗尽DinD和节点的资源。即使单个DinD容器资源足够，节点的总CPU、内存也可能被打满，导致进程被系统挂起。

修改建议： #

• 在Jenkins Pipeline中减少并行构建的数量，比如从8个降到4个，测试是否还会超时：

  parallel(
    "image-service-1": { buildImage("service-1") },
    "image-service-2": { buildImage("service-2") },
    "image-service-3": { buildImage("service-3") },
    "image-service-4": { buildImage("service-4") }
    // 暂时注释其他镜像，先验证
  )
  

• 给Jenkins Agent Pod设置节点亲和性或污点容忍，确保调度到资源充足的节点上。

4. 排查Docker镜像层提交的瓶颈 #

从你的日志可以看到，yarn的所有步骤都已经完成（Done in XX.XXs），但任务一直卡在那里直到超时，这说明问题出在Docker提交镜像层的阶段，而不是yarn本身。除了资源问题，还可以尝试：

• 在DinD容器中添加DOCKER_OPTS参数，调整Docker的并发下载和日志级别，便于排查：

  env:
  - name: "DOCKER_OPTS"
    value: "--max-concurrent-downloads=10 --log-level=debug"
  

• 检查Dockerfile中的yarn cache clean步骤：虽然清理缓存能减小镜像体积，但在DinD环境下，频繁清理缓存可能导致每次构建都重新下载依赖，增加构建时间和资源消耗——可以尝试注释这一步，测试是否还会挂起。

5. 验证Jenkins Agent的日志捕获机制 #

有时候Jenkins无法实时捕获DinD容器内的日志，导致任务被误判为挂起。可以尝试：

• 在Jenkins Pipeline的构建步骤中添加timeout和keepStdout参数，确保日志能实时输出：

  sh script: 'docker build ...', returnStdout: true, timeout: time(minutes: 45)
  

• 确保Jenkins Agent的jnlp容器开启了tty: true（你的配置已经开启，这点没问题），避免日志缓冲。

内容的提问来源于stack exchange，提问作者Igor Brites