MongoDB中使用insert_many插入无_id数据时如何避免重复？

架构老林

2026-7-19

解决MongoDB批量插入重复文档的问题

核心原因

你当前的问题是没有为数据的唯一标识字段创建唯一索引，MongoDB默认只认自动生成的_id，所以每次执行insert_many都会生成新的_id，导致重复文档。

解决方案步骤

1. 为唯一标识字段创建唯一索引

你的数据里的id字段（比如示例中的1193534）是Bug的唯一ID，用它来创建唯一索引：

# 仅需执行一次，重复执行不会报错
self.db.bugzilla.create_index("id", unique=True)

2. 用`bulk_write`替换`insert_many`实现"存在则更新/跳过，不存在则插入"

使用PyMongo的bulk_write配合ReplaceOne操作，批量处理所有文档：

from pymongo import ReplaceOne

# 构造批量操作列表
operations = [
    ReplaceOne(
        {"id": doc["id"]},  # 匹配条件：根据唯一id查找
        doc,                # 要插入/替换的文档内容
        upsert=True         # 不存在则插入，存在则替换
    )
    for doc in docs
]

# 执行批量操作
self.db.bugzilla.bulk_write(operations)

如果你的需求是存在则跳过，不更新，可以换成以下写法：

from pymongo import UpdateOne

operations = [
    UpdateOne(
        {"id": doc["id"]},
        {"$setOnInsert": doc},  # 仅当插入新文档时才赋值
        upsert=True
    )
    for doc in docs
]

self.db.bugzilla.bulk_write(operations)