Docker镜像层解析：冗余层成因排查与清理方案咨询

作为天天和Docker镜像打交道的开发者，我太懂这种冗余层占满存储空间的烦恼了。咱们先把这些冗余层的来龙去脉理清楚，再一步步解决问题。

一、冗余层的常见成因 #

这些占空间的冗余层，大多和构建细节、镜像维护习惯有关：

• Dockerfile指令未优化：如果构建时用了太多零散的RUN命令，每一条RUN都会生成独立的层；还有一种典型情况是先COPY一堆文件，之后又在另一个层里删除部分文件——底层的文件其实还留在镜像里，只是上层标记了删除，空间照样被占用。
• 缓存未合理复用：Dockerfile指令顺序不对，把经常变动的内容（比如业务代码）放在了前面，导致后面的依赖安装层每次都要重新构建；或者本地缓存的层和远程镜像的层ID不匹配（比如构建环境差异），被迫重复存储功能相同的层。
• 基础镜像本身臃肿：这个镜像基于bde2020的Spark镜像，这类大数据相关基础镜像往往预装了很多工具和依赖，有些可能是你完全用不上的，层层叠加下来就积累了大量冗余。
• 构建残留的临时文件：比如用apt-get install后没清理/var/lib/apt/lists/的缓存，或者编译、下载的临时文件没在同一个RUN指令里删除，这些都会留在镜像层里持续占空间。

二、冗余层的清理方案 #

针对现有镜像的快速清理 #

如果不想重新构建镜像，这些方法可以帮你快速释放空间：

• 清理系统级未使用资源：运行docker system prune -a，这个命令会删除所有未被容器使用的镜像、悬空层、停止的容器和无用的卷/网络。注意加-a会删除所有未使用的镜像，执行前确认这些镜像确实不需要了。
• 仅清理悬空层：如果只想删除那些没有被任何镜像引用的悬空层（比如构建失败残留的层），可以用docker image prune，不加-a参数就只会处理悬空层，不会误删有用的镜像。
• 导出再导入实现镜像扁平化：把整个镜像导出成tar包，再重新导入，这样会把所有层合并成一个单一的层，彻底去掉冗余。命令如下：

  docker save openkbs/docker-spark-bde2020-zeppelin:latest -o spark-zeppelin.tar
  docker rmi openkbs/docker-spark-bde2020-zeppelin:latest
  docker load -i spark-zeppelin.tar
  

  不过要注意：扁平化后会丢失层的缓存功能，后续构建没法复用这些层，而且镜像的历史记录也会被清除，适合只是想减小镜像体积的场景。

优化构建流程从根源减少冗余 #

如果你有权限修改镜像的构建逻辑，可以从Dockerfile入手，从根源避免冗余：

• 合并RUN指令：把相关操作放在同一个RUN里，比如安装依赖后立即清理缓存，这样所有操作都在同一个层完成，不会留下临时文件：

  RUN apt-get update && \
      apt-get install -y --no-install-recommends some-package && \
      apt-get clean && \
      rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*
  

• 合理排序Dockerfile指令：把不常变动的内容（比如安装基础依赖）放在前面，频繁变动的（比如复制业务代码）放在后面，这样可以最大化利用Docker的缓存，减少重复构建层。
• 使用.dockerignore文件：复制文件到镜像前，排除掉不需要的内容（比如.git目录、日志文件、临时构建产物等），避免把无关文件塞进镜像生成冗余层。
• 选用更轻量化的基础镜像：如果业务兼容的话，改用alpine版本的基础镜像，或者distroless镜像，这些镜像本身体积就小，能从根源减少层的大小。
• 多阶段构建：用多阶段构建分离构建环境和运行环境，在构建阶段完成编译、依赖安装，然后只把最终的运行产物复制到运行阶段的镜像里，丢弃构建阶段的所有冗余内容。比如：

  # 构建阶段：用带构建工具的镜像
  FROM maven:3.8.6-openjdk-11 as builder
  WORKDIR /app
  COPY pom.xml .
  RUN mvn dependency:go-offline
  COPY src ./src
  RUN mvn package -DskipTests
  
  # 运行阶段：用仅含运行依赖的轻量镜像
  FROM openjdk:11-jre-slim
  WORKDIR /app
  COPY --from=builder /app/target/my-app.jar .
  CMD ["java", "-jar", "my-app.jar"]
  

内容的提问来源于stack exchange，提问作者Nag