Python多进程环境下安全编辑文件的解决方案咨询

线程环境下用threading.Lock能实现文件的安全追加写入，但切换到multiprocessing.Process多进程后，普通线程锁会失效——因为每个进程有独立的内存空间，锁无法跨进程生效。下面是几个简便的解决方案：

方案一：使用跨进程锁 multiprocessing.Lock #

这是最贴近你原有代码逻辑的修改方式，用multiprocessing提供的跨进程锁来同步文件写入操作。需要注意的是，锁对象必须作为参数传递给子进程，不能在子进程内部重新创建，否则每个进程会持有自己的锁，起不到同步作用。

示例代码：

import multiprocessing

def worker(lock):
    # 业务逻辑...
    with lock:
        with open('file.txt', 'a') as filet:
            filet.write('something\n')

if __name__ == '__main__':
    lock = multiprocessing.Lock()
    processes = []
    for _ in range(5):
        p = multiprocessing.Process(target=worker, args=(lock,))
        processes.append(p)
        p.start()
    for p in processes:
        p.join()

方案二：利用文件系统的原子追加操作 #

很多操作系统的文件系统支持原子追加写入，直接通过系统调用实现，无需额外加锁。可以用os.open指定O_APPEND标志，再配合os.write完成写入，这种方式下操作系统会保证多个进程的追加操作不会互相覆盖。

示例代码：

import os
import multiprocessing

def worker():
    # 业务逻辑...
    fd = os.open('file.txt', os.O_WRONLY | os.O_APPEND | os.O_CREAT)
    try:
        os.write(fd, b'something\n')
    finally:
        os.close(fd)

if __name__ == '__main__':
    processes = []
    for _ in range(5):
        p = multiprocessing.Process(target=worker)
        processes.append(p)
        p.start()
    for p in processes:
        p.join()

注意：这种方式只适用于追加写入场景，且写入内容最好是完整的行（避免半行被截断），不同操作系统对原子写入的字节数限制可能有差异，但一般小内容写入都没问题。

方案三：单进程专职写入（生产者-消费者模型） #

创建一个专门的进程负责文件写入，其他业务进程作为生产者，把要写入的内容放到multiprocessing.Queue中。队列本身是线程/进程安全的，天然能保证内容的有序性和写入的安全性。

示例代码：

import multiprocessing
import time

def writer_process(queue):
    with open('file.txt', 'a') as filet:
        while True:
            content = queue.get()
            if content is None:  # 结束信号
                break
            filet.write(content)
            filet.flush()  # 确保内容立即写入磁盘

def worker(queue):
    # 业务逻辑...
    time.sleep(0.1)  # 模拟业务耗时
    queue.put('something\n')

if __name__ == '__main__':
    queue = multiprocessing.Queue()
    writer = multiprocessing.Process(target=writer_process, args=(queue,))
    writer.start()

    processes = []
    for _ in range(5):
        p = multiprocessing.Process(target=worker, args=(queue,))
        processes.append(p)
        p.start()
    
    for p in processes:
        p.join()
    
    queue.put(None)  # 发送结束信号
    writer.join()

内容的提问来源于stack exchange，提问作者darumavotado