MongoDB批量插入更新方案咨询：存在则更新不存在则插入

直接用MongoDB的bulkWrite方法实现批量原子操作，避免逐个更新的性能损耗，核心思路是将新数据转换为批量更新操作数组，每个操作指定「匹配条件、更新内容、不存在则插入」的规则。

实现步骤（以Python PyMongo为例） #

1. 构造批量操作数组：遍历新数据列表，为每个文档生成updateOne操作

   from pymongo import MongoClient
   
   client = MongoClient('mongodb://localhost:27017/')
   db = client['your_database']
   collection = db['your_collection']
   
   newDataList = [{'id':1,'name':'a1'},{'id':2,'name':'a2'},{'id':3,'name':'a3'}, ..., {'id':9999,'name':'a9999'}]
   
   # 构造批量操作
   bulk_operations = []
   for doc in newDataList:
       bulk_operations.append({
           'updateOne': {
               'filter': {'id': doc['id']},  # 匹配条件：根据id查找
               'update': {'$set': doc},       # 更新内容：覆盖对应字段
               'upsert': True                 # 不存在则插入
           }
       })
   
   # 执行批量操作
   result = collection.bulk_write(bulk_operations)
   

2. 查看执行结果：

   • result.modified_count：被更新的文档数量
   • result.upserted_count：被插入的文档数量
   • result.matched_count：匹配到的现有文档数量

关键注意事项 #

• 给id字段创建唯一索引：确保查询匹配的效率，同时避免重复数据

  collection.create_index('id', unique=True)
  

• 批量操作大小限制：MongoDB默认单批操作最多处理1000个文档，若数据量超过1000，可拆分列表分批次执行
• 原子性保障：bulkWrite中的每个操作都是原子的，不会出现部分成功部分失败的情况（除非设置了ordered=False）

内容的提问来源于stack exchange，提问作者Rahul Gupta