Python多进程Worker处理同一目录文件时出现权限错误的原因咨询

数据老陈

2026-4-21

哇，我懂你的困惑！你明明已经把两轮任务拆解开，等第一轮所有进程都处理完才启动第二轮，按说同一时间不该有两个进程碰同一个文件啊。我来帮你分析几个可能的原因：

Windows系统的文件锁定机制“拖后腿”：如果你是在Windows上跑这段代码，那大概率是系统的文件锁在搞鬼。Windows对文件的访问控制比Linux严格得多——哪怕你用'r'模式打开文件，系统也会给文件加一个临时锁。就算你的process_work_1里用了with语句确保文件句柄被释放，系统可能还需要一点时间来回收这个锁资源。如果第二轮的进程刚好在这个“空窗期”去打开同一个文件，就会触发权限错误。
进程池Worker的资源泄漏：你用的是同一个multiprocessing.Pool实例跑两轮任务，第一轮结束后Worker进程其实是存活的。如果process_work_1里出现了未被捕获的异常，哪怕有with语句，也可能出现文件句柄没被正确释放的极端情况——毕竟异常有可能打断with块的清理逻辑。这种残留的句柄会让系统认为文件还被占用，第二轮进程访问时就会报错。
代码里的小错误：args参数格式不对：我注意到你写的args=(file)，这其实是个容易踩的坑！apply_async要求args是元组，而(file)在Python里不是元组，只是单个变量的括号包裹，正确的写法应该是args=(file,)（注意末尾的逗号）。如果参数格式错了，进程池可能会把任务参数解析错误，导致Worker进程执行异常，进而引发文件句柄泄漏或者任务重复执行的问题。
第一轮任务的“完成”可能有假象：你用[result.wait() for result in results]等待第一轮任务完成，但wait()方法只是等待任务执行结束，并不会主动捕获任务的异常。如果某个process_work_1任务执行失败并挂起，虽然表面上你等了所有result，但那个异常的Worker进程可能还在后台占用着文件资源，第二轮任务启动后就会冲突。

给你几个针对性的解决建议：

先把args=(file)改成args=(file,)，这个小改动可能会解决大部分隐性问题；

在process_work_1和process_work_2里加上异常捕获，确保哪怕出错也能正确释放文件资源，比如：

def process_work_1(file):
    try:
        with open(file, 'r') as f:
            # 你的处理逻辑
            pass
    except Exception as e:
        print(f"处理文件{file}时出错：{e}")

如果是Windows系统，可以尝试用更宽松的文件打开方式，允许共享访问：

import os
def process_work_1(file):
    # 用os.open设置共享权限，再转成文件对象
    fd = os.open(file, os.O_RDONLY | os.O_SHARE_DELETE | os.O_SHARE_READ | os.O_SHARE_WRITE)
    with os.fdopen(fd, 'r') as f:
        # 处理逻辑
        pass

备注：内容来源于stack exchange，提问作者Daniel Bar