基于variant_id唯一键的MongoDB数据新增：仅插入不存在的记录

要实现仅插入MongoDB中不存在的DataFrame记录（以variant_id作为唯一校验键），可以按以下步骤操作：

步骤1：准备依赖与连接数据库 #

确保已安装pymongo和pandas，然后连接到MongoDB目标集合：

from pymongo import MongoClient
import pandas as pd

# 连接MongoDB（根据实际地址调整）
client = MongoClient('mongodb://localhost:27017/')
db = client['your_database_name']
collection = db['your_collection_name']

步骤2：提取并比对已存在的variant_id #

从DataFrame中取出所有variant_id，查询数据库中已存在的对应值，筛选出待插入的新记录：

# 假设你的DataFrame名为new_df
existing_ids = collection.distinct('variant_id')
# 筛选出DataFrame中不在数据库里的记录
new_records = new_df[~new_df['variant_id'].isin(existing_ids)]

步骤3：插入新记录 #

将过滤后的DataFrame转为字典列表，批量插入到MongoDB：

if not new_records.empty:
    # 将DataFrame转为MongoDB可接受的字典格式
    records_to_insert = new_records.to_dict('records')
    collection.insert_many(records_to_insert)
    print(f"成功插入{len(records_to_insert)}条新记录")
else:
    print("没有新记录需要插入")

关键注意事项 #

• 类型一致性：确保DataFrame中variant_id的类型与数据库中存储的类型完全一致（比如都是字符串或整数），否则会出现匹配错误，导致重复插入。
• 性能优化：如果DataFrame数据量极大，可分批提取和比对variant_id，避免一次性查询过多数据导致内存占用过高。
• 原子性保障：如果需要确保插入过程的原子性，可以使用bulk_write结合InsertOne操作，不过上述方法已经能满足基础的追加需求。

内容的提问来源于stack exchange，提问作者Pooja Bhateley