如何使用bulk_write快速更新MongoDB集合？遇重复键错误求排查

错误根源 #

你遇到的E11000 duplicate key error是因为ReplaceOne的筛选条件使用错误：
你把整个record作为第一个参数（筛选条件），这意味着只有当数据库中存在和当前record完全一致的文档时，才会执行替换操作；如果找不到匹配的文档，upsert=True会触发插入新文档。

这种逻辑会在两种场景下触发唯一键冲突：

• DataFrame中存在两条唯一键相同但其他字段不同的record：第一条执行时可能已插入新文档，第二条因筛选条件不匹配（找不到完全一致的文档），会尝试插入，导致唯一键重复。
• 数据库中已有带目标唯一键的文档，但该文档其他字段和record不一致：筛选条件无法匹配到现有文档，触发插入操作，和已有文档的唯一键冲突。

正确写法 #

核心是用文档的唯一键字段作为筛选条件（比如MongoDB自带的_id，或你自定义的唯一索引字段，如user_id、product_id），确保能精准匹配到要更新的文档，而不是用整个record作为筛选条件。

示例代码（以_id为唯一键） #

df = df.to_dict('records')

update_requests = []
for record in df:
    # 仅用唯一键作为筛选条件，定位目标文档
    filter_condition = {"_id": record["_id"]}
    # 执行替换操作，找不到则插入
    update_requests.append(ReplaceOne(filter_condition, record, upsert=True))

collection.bulk_write(update_requests, ordered=False)

自定义唯一键的情况 #

如果你的集合用的是自定义唯一键（比如product_id），只需修改筛选条件：

filter_condition = {"product_id": record["product_id"]}

额外说明 #

• ordered=False的设置没问题，它会让批量操作中单个请求失败不影响其他请求执行，但前提是先解决筛选条件的逻辑问题。
• 确保DataFrame中的唯一键字段没有重复值，否则即使筛选条件正确，也可能触发插入时的唯一键冲突。

内容的提问来源于stack exchange，提问作者MaxFrost