如何优化MongoDB中UpdateOne批量upsert操作的执行速度

300条数据upsert耗时1小时属于明显的异常表现，按优先级从高到低做以下排查和优化即可解决：

1. 优先给匹配字段加唯一索引（99%概率是这个问题） #

你当前用house-id_listing作为upsert的匹配查询条件，如果这个字段没有索引，每一条更新操作都要遍历全集合100万条文档找匹配记录，300次全表扫描的总开销会直接把耗时拉到小时级。
直接执行以下命令建唯一索引即可，background=True参数可以避免建索引时阻塞线上业务读写：

db['detached'].create_index(
    [("house-id_listing", pymongo.ASCENDING)],
    unique=True,
    background=True
)

索引建完后，单条文档匹配会直接走B+树索引定位，耗时从秒级降到亚毫秒级，这一步做完基本就能把总耗时降到秒级以内。

2. 调整批量操作参数 #

• 关闭有序执行：pymongo的bulk_write默认是ordered=True，会严格按照你传入的顺序串行执行所有操作，中间一条报错就终止。你的同步场景不需要保证操作顺序，加上ordered=False参数让MongoDB并行重排执行，能大幅提升吞吐量：

result = db['detached'].bulk_write(bulk_ops, ordered=False)

• 控制单批大小：你当前几百条的量级不需要拆分，如果后续单次同步数据量上涨，单批操作数控制在500-1000条即可，不要把几万条操作塞到同一个请求里，避免网络包过大或者服务端处理超时。

3. 排查服务端与链路问题 #

如果加完索引还是慢，按以下顺序排查：

• 检查实例资源：看MongoDB所在服务器的CPU、内存、磁盘IO使用率，如果内存不足以装下索引和热数据，会触发频繁磁盘换页，性能会出现数量级下降；如果是跨机房/公网连接的实例，先测客户端到MongoDB的网络延迟，高延迟下哪怕单条操作快，累计开销也会很高。
• 排查锁阻塞：同步操作执行时，如果集合上有长时间运行的慢查询、全表扫描任务、建索引任务，会占用集合锁阻塞写入，可以在MongoDB shell执行db.currentOp()查看当前运行的所有操作，杀掉异常的长耗时任务。
• 检查文档大小：如果new_value里包含MB级别的大字段（比如长文本、base64编码的文件），单条文档的网络传输和磁盘写入开销会很高，建议把大字段拆分到独立集合存储，主集合只保留查询和更新需要的核心字段。

4. 逻辑适配优化 #

如果你每次同步的新数据是全量覆盖对应文档，不需要保留旧文档里new_value不存在的字段，可以把UpdateOne+$set换成ReplaceOne，减少服务端做字段合并的CPU开销：

bulk_ops.append(
    pymongo.ReplaceOne(
        {'house-id_listing': listing_id},
        new_value,
        upsert=True
    )
)

注意：如果需要保留旧文档中未同步更新的字段，不要用这个写法

内容的提问来源于stack exchange，提问作者John Doe