You need to enable JavaScript to run this app. 多进程场景下使用TinyDB写入JSON数据库出现ID重复问题的解决方法
优惠活动
大模型
产品
解决方案
定价
更多

多进程场景下使用TinyDB写入JSON数据库出现ID重复问题的解决方法

TinyDB 多进程写入冲突解决方案

问题本质

报错并不是传入的业务ID真的重复,核心冲突来源有三个:

  • TinyDB 原生是单进程设计的JSON文件存储,写入逻辑为「全量读取数据库文件 → 内存修改数据 → 全量覆写磁盘文件」,本身不支持跨进程的并发写入校验
  • 多进程同时执行写入时会出现典型的读写竞态:进程A刚完成ID唯一性校验准备写入,进程B同时也完成了校验,两者先后覆写文件时,TinyDB的内部唯一性校验就会出现误判,触发「指定ID已存在」的报错
  • 现有代码存在两处逻辑问题:循环中给所有子进程传入的是同一个params参数,所有进程都在尝试插入同一条id=1的记录,哪怕没有并发冲突,单进程顺序执行也会因为ID重复报错;另外示例的参数字典存在语法错误,键值对需使用冒号分隔而非等号。

可选落地方案

方案1:跨进程锁保护写入操作(改动最小)

通过跨进程互斥锁,把所有对TinyDB的写入操作串行化,彻底避免竞态条件。

  • 适用场景:代码逻辑简单,不想大幅重构现有流程
  • 实现逻辑:每次执行insert操作前先获取锁,写入完成后立刻释放锁,保证同一时间只有一个进程在操作数据库文件
  • 参考改动代码:
from multiprocessing import Process, Manager
from tinydb import TinyDB

# 初始化跨进程共享的互斥锁
manager = Manager()
write_lock = manager.Lock()
resultsDb = TinyDB('db/resultsDb.json')

def run(params):
    # 写操作前后自动加锁、释放锁
    with write_lock:
        resultsDb.insert({'id': params['id'], 'name': params['name'], 'age': params['age']})

maxProcesses = 12
processes = []
for i in range(maxProcesses):
    # 每个进程传入带唯一id的独立参数,不能共享同一个params
    task_params = {'id': i, 'name': f'poop_{i}', 'age': 99}
    processes.append(Process(target=run, args=(task_params,)))

for p in processes:
    p.start()
for p in processes:
    p.join()

方案2:主进程统一接管写入(性能最优)

不要让子进程直接操作数据库,采用生产者-消费者模式拆分职责:

  • 子进程只负责执行业务计算,把需要写入的序列化数据投递到跨进程队列中,不直接触碰数据库文件
  • 主进程单独运行一个写入循环,从队列中拉取待写入的数据,批量提交到TinyDB
  • 方案优势:
    • 完全消除多进程并发写入的冲突,不需要额外维护跨进程锁
    • 可以把零散的单条写入攒成批次,利用TinyDB的insert_multiple接口一次性写入,大幅降低全量覆写JSON文件的磁盘IO开销
  • 参考实现逻辑:
from multiprocessing import Process, Queue
from tinydb import TinyDB

resultsDb = TinyDB('db/resultsDb.json')
write_queue = Queue()

def worker(params):
    # 子进程只执行业务计算,把结果投递到队列
    result = {'id': params['id'], 'name': params['name'], 'age': params['age']}
    write_queue.put(result)

def db_writer():
    # 独立的写入循环
    batch = []
    while True:
        item = write_queue.get()
        if item is None: # 收到退出信号就写完剩余缓存再退出
            if batch:
                resultsDb.insert_multiple(batch)
            break
        batch.append(item)
        # 攒够100条就批量写一次,避免频繁刷盘
        if len(batch) >= 100:
            resultsDb.insert_multiple(batch)
            batch.clear()

# 启动独立的写入进程
writer_process = Process(target=db_writer)
writer_process.start()

maxProcesses = 12
processes = []
for i in range(maxProcesses):
    task_params = {'id': i, 'name': f'poop_{i}', 'age': 99}
    processes.append(Process(target=worker, args=(task_params,)))

for p in processes:
    p.start()
for p in processes:
    p.join()

# 通知写入进程处理剩余数据并退出
write_queue.put(None)
writer_process.join()

注意事项

  • 不要在多进程场景下共用主进程初始化的TinyDB实例句柄:fork产生的子进程会复制主进程的内存状态,TinyDB的内存缓存会逐渐和磁盘文件状态不一致,哪怕加锁也可能出现读写偏差
  • 当单表数据量超过1000条后,TinyDB的全量JSON覆写性能会快速下降,如果是长期运行的生产任务,建议直接使用原生支持多进程并发写入的存储(如SQLite),比TinyDB更适配高IO场景

内容的提问来源于stack exchange,提问作者poop

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.25 05:45:07