Python多进程中如何用Lock控制文件读写权限（imap_unordered场景）

核心思路 #

要解决多个进程同时触发写入的问题，关键是需要一个跨进程可见的状态标志，配合锁来保证标志位的检查和修改是原子操作——这样只有第一个抢到锁且发现标志未被设置的进程会执行写入，后续进程都会看到标志已设置，转而执行读取逻辑。

我们可以用multiprocessing.Manager创建共享的布尔变量（记录是否已完成写入），再搭配Lock来避免竞态条件。

完整代码示例 #

import multiprocessing
from functools import partial

def process_task(file_path, has_written, lock, process_id):
    with lock:
        # 原子性检查是否已写入
        if not has_written.value:
            print(f"进程{process_id}: 执行写入操作")
            # 替换为实际的文件写入逻辑
            with open(file_path, 'w') as f:
                f.write("这是第一个进程写入的内容\n")
            has_written.value = True
        else:
            print(f"进程{process_id}: 执行读取操作")
            # 替换为实际的文件读取逻辑
            with open(file_path, 'r') as f:
                content = f.read()
            print(f"进程{process_id}: 读取到内容：{content.strip()}")

if __name__ == "__main__":
    file_path = "test.txt"
    # 创建管理器，生成跨进程共享的状态变量和锁
    with multiprocessing.Manager() as manager:
        has_written = manager.Value('b', False)  # 'b'表示布尔类型
        lock = manager.Lock()
        
        # 绑定固定参数，创建进程池任务
        pool = multiprocessing.Pool(processes=4)
        task_func = partial(process_task, file_path, has_written, lock)
        
        # 用imap_unordered提交10个进程任务
        for _ in pool.imap_unordered(task_func, range(10)):
            pass
        
        pool.close()
        pool.join()

代码关键点解释 #

• manager.Value('b', False)：创建跨进程共享的布尔变量，初始值为False（表示未完成写入）。
• manager.Lock()：生成跨进程可用的锁，确保同一时间只有一个进程能检查和修改has_written，避免竞态条件。
• with lock:：通过上下文管理器自动处理锁的获取与释放，降低死锁风险。
• 保留imap_unordered调用方式的同时，通过共享状态和锁严格保证写入逻辑仅执行一次。

预期输出示例 #

进程0: 执行写入操作
进程1: 执行读取操作
进程1: 读取到内容：这是第一个进程写入的内容
进程2: 执行读取操作
进程2: 读取到内容：这是第一个进程写入的内容
进程3: 执行读取操作
进程3: 读取到内容：这是第一个进程写入的内容
...（后续所有进程均执行读取逻辑）

原代码问题原因 #

你之前用imap_unordered+partial的实现，缺少跨进程的状态同步机制——多个进程会同时判断“是否需要写入”，由于没有锁保证判断操作的原子性，导致多个进程都进入写入逻辑。

内容的提问来源于stack exchange，提问作者Guru