Docker 4.25.0升级后Python脚本随机文件找不到问题求助

问题背景 #

同一Python脚本在Docker环境稳定运行1年，升级Docker 4.25.0后出现文件访问异常：通过ZipFile创建.zip文件后，首次调用自定义fileCheck函数能正常找到文件并获取状态，但等待5秒后再次调用fileCheck却无法找到该文件，最终触发断言失败。已尝试替换压缩方式、重命名文件等操作，问题依旧。

可能的Docker 4.25.0相关变更点 #

Docker 4.25.0的核心变更可能涉及以下几个方面，需重点排查：

• Volume挂载的文件系统同步延迟：新版本调整了本地Volume与容器之间的文件同步逻辑，若zip文件存储在绑定挂载目录中，同步延迟会导致容器内无法实时感知文件状态变化。
• 容器内文件系统缓存策略更新：优化后的缓存机制可能使os.path.exists()读取缓存结果，而非实时的文件系统状态，导致二次检测失效。
• 文件权限/所有权变更：新版本可能调整了容器内默认用户权限或文件所有权规则，虽首次检测能访问，但后续权限变更导致文件不可见（此可能性较低，因报错为"找不到文件"而非权限拒绝）。

针对性解决方案 #

1. 强制文件系统同步 #

在zip文件创建完成后，显式调用文件系统同步操作，确保文件元数据及时写入磁盘：

import os
from zipfile import ZipFile, ZIP_DEFLATED
from pathlib import Path

# 创建zip文件的代码保持不变
with ZipFile(zip_out_filepath, mode="w", compression=ZIP_DEFLATED, compresslevel=9) as archive:
    for file_path in Path(zip_in_filepath).iterdir():
        archive.write(file_path, arcname=file_path.name)

# 添加文件系统同步
os.sync()

2. 优化fileCheck的文件检测逻辑 #

替换依赖缓存的os.path.exists()，改用直接打开文件的方式验证存在性与可访问性：

import os
import time

def fileCheck(self, fileFolder, fileName):
    file = os.path.abspath(os.path.join(fileFolder, fileName))
    print(f'Checking File Status for {file}...')

    # 文件名清理逻辑保留
    badFileNameChars = ['(', ')', ' ', ',', '\t']
    res = any(ele in fileName for ele in badFileNameChars)
    if res:
        print(f'Found Bad File Name Characters In: {fileName}')
        file = self.cleanFileName(file)

    retries = 0
    file_accessible = False
    while not file_accessible:
        try:
            # 尝试只读打开文件，直接验证存在性与可访问性
            with open(file, 'rb'):
                pass
            file_stats = os.stat(file)
            print(f'File Found & Accessible: {file}')
            print(f'File Stats: {file_stats}')
            file_accessible = True
        except FileNotFoundError:
            retries += 1
            print(f'\nWaiting For File To Exist: {file}...')
            print(f'Retry: {retries}...\n')
            time.sleep(5)
            if retries > 6:
                raise FileNotFoundError(f"File {file} not found after 6 retries")
        except PermissionError:
            retries += 1
            print(f'Permission denied for file: {file}, retrying...')
            time.sleep(5)
            if retries > 6:
                raise PermissionError(f"Permission denied for {file} after 6 retries")
    return file

3. 调整Docker Volume挂载配置 #

若zip文件存储在绑定挂载目录：

• macOS环境：添加:consistent挂载选项，强制主机与容器文件系统强一致性：

  docker run -v /host/local/path:/container/target/path:consistent your-python-image
  

• Linux环境：尝试使用:shared挂载选项，或禁用容器内文件系统缓存（可通过容器启动参数调整）。

4. 回退Docker版本验证 #

临时回退到Docker 4.24.2（升级前的稳定版本），确认问题是否消失，以此明确是否为Docker版本变更导致的兼容性问题。

内容的提问来源于stack exchange，提问作者KrisF