Pymongo 3.12执行bulk_write匹配全量文档仅修改一半问题排查

根因分析 #

该问题的核心触发原因是待批量处理的events_update_data列表存在大量重复_id的更新请求，结合无序批量写入的执行逻辑导致异常现象：

• Pymongo的ordered=False无序批量写入会并行调度所有请求，同一_id对应的多条更新请求执行顺序完全不确定，后执行的更新会直接覆盖先执行的更新结果。
• MongoDB的nModified仅统计实际发生内容变更的写入操作，如果更新请求的$set内容与文档当前已有内容完全一致，不会执行实际写入，也不会计入nModified统计。

这就完全匹配你遇到的现象：总匹配数等于总请求数，但修改数远低于匹配数，每次执行修改数值波动大，需要多次执行才能完成全量更新。
你尝试的两种变体写法没有解决问题，是因为没有从根源上处理重复_id的问题，不管用旧版bulk_op接口还是分批写入，只要存在同_id的重复请求就会复现该问题。

解决方案 #

方案1：先对更新请求按_id去重（优先推荐） #

如果同_id的多条更新请求里，你只需要保留最新的一条更新内容，先对请求列表去重后再执行批量写入即可：

# 按_id去重，保留最后出现的event，如需保留最早的可反转遍历顺序
unique_event_map = {}
for event in events_update_data:
    doc_id = event["$set"]["metaData"]["id"]
    unique_event_map[doc_id] = event

# 构造批量操作
upserts = [
    UpdateOne({'_id': doc_id}, {'$set': event["$set"]}, upsert=True)
    for doc_id, event in unique_event_map.items()
]
result = cursor.bulk_write(upserts, ordered=False)
print(result.bulk_api_result)

方案2：使用有序批量写入 #

如果你确实需要按提交顺序执行同一_id的多条更新，将ordered参数改为True即可，MongoDB会严格按你提交的顺序执行所有请求，避免并行覆盖：

result = cursor.bulk_write(upserts, ordered=True)

注意：有序批量写入的执行速度会低于无序批量，且单条请求失败会中断后续请求执行，需配合异常捕获逻辑处理。

方案3：合并同_id的更新请求 #

如果同一_id的多条更新是写入不同字段，可提前将同_id的所有$set内容合并为单个更新请求，既提升写入效率也避免覆盖问题。

内容的提问来源于stack exchange，提问作者equallyhero