Python多线程类中文件仅close时写入，如何实现实时追加？

核心原因 #

1. 文件缓冲机制：Python文件对象默认采用缓冲IO，write()操作只是把数据写入内存缓冲区，只有缓冲区填满、调用flush()或close()时，才会将数据同步到磁盘，这就是你看不到实时写入效果的根本原因。
2. 线程安全隐患：多个线程直接对同一个文件对象执行write()，容易出现内容重叠、错乱的问题——因为write()并非线程原子操作，多线程并发写入会破坏数据完整性。

解决步骤 #

1. 强制刷新缓冲区 #

每次调用write()后，立即执行OUTPUT.flush()，强制将缓冲区数据写入磁盘，确保修改实时持久化。

2. 加线程锁保证写入安全 #

使用threading.Lock()为文件写入操作加锁，同一时间只允许一个线程执行写入，避免多线程竞争导致的数据错乱。

修改后的代码示例 #

from threading import Thread, Lock

# 全局文件对象与写入锁
OUTPUT = open("result.txt", "a")
WRITE_LOCK = Lock()

class ABC:
   def func1(self, user):
       # 处理逻辑，生成lst（替换为你的实际业务代码）
       lst = []
       self.func2(lst)

   def func2(self, lst):
        thrd_list = []
        for ele in lst:
            # 修正原代码args语法错误：args需用括号包裹为元组
            x = Thread(target=self.func3, args=(ele,))
            x.start()
            thrd_list.append(x)
        for thrd in thrd_list:
            thrd.join()

   def func3(self, ele):
       # 执行操作，成功后写入文件
       with WRITE_LOCK:
           OUTPUT.write(f"{ele}\n")
           OUTPUT.flush()  # 强制将缓冲区数据刷入磁盘

with open("users.txt", "r") as f:
     users = f.readlines()

thrd_list = []
for user in users: 
    new_obj = ABC()
    # 修正原代码args语法错误
    x = Thread(target=new_obj.func1, args=(user,))
    x.start()
    thrd_list.append(x)
for thrd in thrd_list:
    thrd.join()

OUTPUT.close()

额外优化建议 #

• 避免使用全局文件对象，可将文件对象和锁作为参数传入类或方法，代码结构更清晰、耦合性更低。
• 可在打开文件时指定buffering=1启用行缓冲，此时写入换行符时会自动触发flush，但仍需配合锁使用以保证线程安全，示例：OUTPUT = open("result.txt", "a", buffering=1)。

内容的提问来源于stack exchange，提问作者farhan jatt