Python os.replace批量移动文件报PermissionError [WinError 5]拒绝访问

问题背景 #

• 处理BUPTBalancedFaces人脸数据集时，需要将分散在不同子文件夹下的高加索人人脸图片移动至统一目标文件夹
• 相同逻辑移动非洲、印度、亚裔人种的人脸文件时程序运行正常，移动高加索人文件时抛出权限错误
• 多次重复运行代码，报错触发的具体文件位置不固定
• 运行环境：Jupyter Notebook、GPU版本虚拟环境

报错信息：
PermissionError: [WinError 5] Access is denied: 'Caucasian\m.077ytv\34-FaceId-0_align.jpg' -> 'data\Caucasian\34-FaceId-0_align.jpg'

原实现代码：

import os

CAU_PATH = os.path.join('data', 'Caucasian')

for directory in os.listdir('Caucasian'):
    for file in os.listdir(os.path.join('Caucasian', directory)):
        EX_PATH = os.path.join('Caucasian', directory, file)
        NEW_PATH = os.path.join(CAU_PATH, file)
        os.replace(EX_PATH, NEW_PATH) 

问题原因 #

这个随机触发的权限错误和人种分类本身无关，核心是代码逻辑缺陷+Windows系统特性共同导致，高加索人子集文件量远大于其他三个人种子集，所以问题更容易被触发：

• 没有提前创建目标文件夹data\Caucasian，os.replace不会自动创建不存在的目录路径，路径不存在时会直接抛错
• Windows系统的文件索引服务、自带的Defender杀毒会随机扫描磁盘上的图片文件，扫描期间文件会被临时加锁，此时调用os.replace移动文件就会报权限拒绝，文件总量越大，扫描命中的概率越高
• 没有做重名处理，不同子文件夹下如果存在同名图片，移动时会直接覆盖，上一个同名文件移动后系统句柄未及时释放时，下一个同名文件写入就会触发权限错误
• 遍历逻辑没有做类型校验，如果源目录下存在非目录项、子目录嵌套，会把非文件路径传入os.replace引发异常

修复方案 #

替换为以下代码即可解决问题：

import os
import time

CAU_PATH = os.path.join('data', 'Caucasian')
# 预创建目标目录，已存在时不报错
os.makedirs(CAU_PATH, exist_ok=True)

def move_with_retry(src_path, dst_path, retry_times=3):
    # 处理同名文件，自动加序号后缀避免覆盖
    base, suffix = os.path.splitext(dst_path)
    idx = 1
    while os.path.exists(dst_path):
        dst_path = f"{base}_{idx}{suffix}"
        idx += 1
    # 重试机制应对临时文件锁
    for _ in range(retry_times):
        try:
            os.replace(src_path, dst_path)
            return
        except PermissionError:
            time.sleep(1)
    print(f"文件移动失败，持续被占用：{src_path}")

for dir_name in os.listdir('Caucasian'):
    src_dir_full = os.path.join('Caucasian', dir_name)
    # 跳过非目录项
    if not os.path.isdir(src_dir_full):
        continue
    for file_name in os.listdir(src_dir_full):
        src_file_full = os.path.join(src_dir_full, file_name)
        # 跳过子目录，仅处理文件
        if not os.path.isfile(src_file_full):
            continue
        dst_file_full = os.path.join(CAU_PATH, file_name)
        move_with_retry(src_file_full, dst_file_full)

额外注意事项 #

• 运行代码前关闭所有可能访问数据集文件的程序，包括图片查看器、资源管理器的预览窗格
• 可临时将数据集目录加入Windows Defender的扫描排除列表，减少文件被临时锁定的概率
• 不要把目标目录data\Caucasian放在源目录Caucasian的子路径下，否则遍历逻辑会重复处理已经移动完成的文件，引发异常

内容的提问来源于stack exchange，提问作者Anefu