并行拉取保存Docker镜像失败求助：疑共享层致Overlay2冲突

根源定位 #

你遇到的问题是Docker 1.13.1版本的overlay2驱动在并行处理共享父层的镜像操作时存在竞态条件：多个线程同时访问、修改共享的overlay2层目录（尤其是merged挂载点），导致文件系统的层引用或挂载状态不一致，进而出现随机的文件找不到错误。单线程串行操作时没有并发冲突，所以能正常执行。

具体解决方案 #

1. 升级Docker版本（最优方案）

Docker 1.13.1是2017年的老旧版本，后续的稳定版（如17.06+、20.10系列）修复了大量overlay2驱动在并行层处理、共享层管理上的bug。升级到兼容CentOS 7的Docker稳定版，能从根本上解决这个竞态问题。

2. 脚本加全局锁（临时规避）

如果暂时无法升级Docker，修改你的Python脚本，对所有基于共享父镜像的拉取、保存操作添加全局线程锁，确保同一时间只有一个线程处理这类镜像：

import threading
# 定义全局锁
lock = threading.Lock()

def pull_and_save_image(image_name):
    with lock:
        # 这里执行拉取镜像和保存的代码
        # 例如：client.images.pull(image_name)
        # client.images.save(image_name, path=...)
        pass

这种方式会将共享父镜像的相关操作串行化，避免overlay2层的并发冲突，代价是损失部分并行效率，但能保证操作成功。

3. 验证XFS文件系统配置

overlay2驱动要求XFS文件系统必须启用ftype=1参数，虽然你单线程操作正常，但如果该参数未开启，可能加剧并发下的层管理问题：

• 执行命令检查：

xfs_info /var/lib/docker

• 输出中若ftype=0，需要备份/var/lib/docker数据后，重新格式化分区并指定参数：

mkfs.xfs -n ftype=1 /dev/xxx

（替换/dev/xxx为实际挂载/var/lib/docker的分区）

内容的提问来源于stack exchange，提问作者Igor