多进程场景下使用TinyDB写入JSON数据库出现ID重复问题的解决方法
TinyDB 多进程写入冲突解决方案
问题本质
报错并不是传入的业务ID真的重复,核心冲突来源有三个:
- TinyDB 原生是单进程设计的JSON文件存储,写入逻辑为「全量读取数据库文件 → 内存修改数据 → 全量覆写磁盘文件」,本身不支持跨进程的并发写入校验
- 多进程同时执行写入时会出现典型的读写竞态:进程A刚完成ID唯一性校验准备写入,进程B同时也完成了校验,两者先后覆写文件时,TinyDB的内部唯一性校验就会出现误判,触发「指定ID已存在」的报错
- 现有代码存在两处逻辑问题:循环中给所有子进程传入的是同一个
params参数,所有进程都在尝试插入同一条id=1的记录,哪怕没有并发冲突,单进程顺序执行也会因为ID重复报错;另外示例的参数字典存在语法错误,键值对需使用冒号分隔而非等号。
可选落地方案
方案1:跨进程锁保护写入操作(改动最小)
通过跨进程互斥锁,把所有对TinyDB的写入操作串行化,彻底避免竞态条件。
- 适用场景:代码逻辑简单,不想大幅重构现有流程
- 实现逻辑:每次执行insert操作前先获取锁,写入完成后立刻释放锁,保证同一时间只有一个进程在操作数据库文件
- 参考改动代码:
from multiprocessing import Process, Manager from tinydb import TinyDB # 初始化跨进程共享的互斥锁 manager = Manager() write_lock = manager.Lock() resultsDb = TinyDB('db/resultsDb.json') def run(params): # 写操作前后自动加锁、释放锁 with write_lock: resultsDb.insert({'id': params['id'], 'name': params['name'], 'age': params['age']}) maxProcesses = 12 processes = [] for i in range(maxProcesses): # 每个进程传入带唯一id的独立参数,不能共享同一个params task_params = {'id': i, 'name': f'poop_{i}', 'age': 99} processes.append(Process(target=run, args=(task_params,))) for p in processes: p.start() for p in processes: p.join()
方案2:主进程统一接管写入(性能最优)
不要让子进程直接操作数据库,采用生产者-消费者模式拆分职责:
- 子进程只负责执行业务计算,把需要写入的序列化数据投递到跨进程队列中,不直接触碰数据库文件
- 主进程单独运行一个写入循环,从队列中拉取待写入的数据,批量提交到TinyDB
- 方案优势:
- 完全消除多进程并发写入的冲突,不需要额外维护跨进程锁
- 可以把零散的单条写入攒成批次,利用TinyDB的
insert_multiple接口一次性写入,大幅降低全量覆写JSON文件的磁盘IO开销
- 参考实现逻辑:
from multiprocessing import Process, Queue from tinydb import TinyDB resultsDb = TinyDB('db/resultsDb.json') write_queue = Queue() def worker(params): # 子进程只执行业务计算,把结果投递到队列 result = {'id': params['id'], 'name': params['name'], 'age': params['age']} write_queue.put(result) def db_writer(): # 独立的写入循环 batch = [] while True: item = write_queue.get() if item is None: # 收到退出信号就写完剩余缓存再退出 if batch: resultsDb.insert_multiple(batch) break batch.append(item) # 攒够100条就批量写一次,避免频繁刷盘 if len(batch) >= 100: resultsDb.insert_multiple(batch) batch.clear() # 启动独立的写入进程 writer_process = Process(target=db_writer) writer_process.start() maxProcesses = 12 processes = [] for i in range(maxProcesses): task_params = {'id': i, 'name': f'poop_{i}', 'age': 99} processes.append(Process(target=worker, args=(task_params,))) for p in processes: p.start() for p in processes: p.join() # 通知写入进程处理剩余数据并退出 write_queue.put(None) writer_process.join()
注意事项
- 不要在多进程场景下共用主进程初始化的TinyDB实例句柄:fork产生的子进程会复制主进程的内存状态,TinyDB的内存缓存会逐渐和磁盘文件状态不一致,哪怕加锁也可能出现读写偏差
- 当单表数据量超过1000条后,TinyDB的全量JSON覆写性能会快速下降,如果是长期运行的生产任务,建议直接使用原生支持多进程并发写入的存储(如SQLite),比TinyDB更适配高IO场景
内容的提问来源于stack exchange,提问作者poop
相关产品推荐
相关产品推荐

