Docker镜像为何出现重复层？以elasticsearch镜像为例

当检查镜像elasticsearch@sha256:92fca5d2fe565f97ce11209fcd057e95f3f18287757be680dc76590788b84fcf时，发现其RootFS层列表中存在大量重复的同一层哈希，具体层信息如下：

"RootFS": {
    "Type": "layers",
    "Layers": [
        "sha256:12e469267d21d66ac9dcae33a4d3d202ccb2591869270b95d0aad7516c7d075b",
        "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
        "sha256:0d78baeff42ffece0dedcf64de6e1fea1e867e274fa36e1ebc5a4ab6af5d45f1",
        "sha256:436c692f222877b88632550ce3e11968d3a8d0916d3b4fc6f33d713196a2b891",
        "sha256:8e3cccdc82291f3ff62692f62afbcc4455a34a3f8d81b8c5d4775b4fe68c140e",
        "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
        "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
        "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
        "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
        "sha256:0bdcf95ed87616883f5b746d24ecb71461b3f76b280480282e1f03e97bc7b68b",
        "sha256:cbbec3d4fa2d4294d5ecd93fd945634ae7eb992df72b03dff645af0f854f9b19",
        "sha256:f87abd9c74bf58896dc6fca32a8a5e06de65509116fc7c24b46c38df394a5d81",
        "sha256:a8a2696157358397c52f5f8da7504735f38b041745c4bffb776f8316c2ce6ec7",
        "sha256:66ed94e706a71223e5db8d94580750ad110de4d73a6cce56f7d229ece8daff4c",
        "sha256:bbaa010363187219166f97c7ac612de3514a04a94fda17d9625e0dddb48120cd",
        "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
        "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
        "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
        "sha256:5d248fc15d0e269fc8c45f4812444eae595b0f4c39d6512f6cf2a014ccdf0ff0",
        "sha256:22eea9de37a553c8981aff7d65259a368fe2343babb49fd2fef55cd94c3d52d9",
        "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
        "sha256:5f2c80f758e56ff4ffc6ee807047ae7ad6391270e08c9851d72588906fec6fab",
        "sha256:4c9c17a09c33c40659e585bfd15f3ea4e2f762fcd95079b3940d716818e1277d",
        "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
        "sha256:92d6e040a0969db56ab7766679f10c2c64e9b051d0855f12c02c5ba5030b6a33",
        "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
        "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
        "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef"
    ]
},

成因分析 #

• 构建脚本的冗余操作：如果Dockerfile或构建脚本里重复执行了没有实际修改文件系统的指令（比如多次RUN相同的空命令、重复COPY相同内容的文件），每次执行都会在层序列里留下记录，而因为内容没变化，层哈希会完全一致，导致列表里重复出现。
• 镜像合并/继承的遗留：该镜像可能是由多个父镜像合并而来，或者继承了包含重复层的基础镜像，合并过程中没有对层列表做去重处理，使得同一层哈希多次出现在最终的层序列中。
• Docker元数据的记录特性：docker inspect输出的层列表是构建过程的完整顺序记录，哪怕某层被后续操作覆盖或复用，也会保留其在序列中的位置。实际上Docker存储时只会保存一份该层数据，重复显示只是元数据的记录，不会额外占用磁盘空间。
• 第三方构建工具的逻辑缺陷：如果用了docker-compose、buildx等第三方工具或者自定义构建脚本，可能存在逻辑错误，导致同一层被多次添加到镜像的层序列里。

内容的提问来源于stack exchange，提问作者smgtkn