如何加速PyMongo循环？产品数据ID批量检查与操作优化

直接把50次单查改成1次批量查询，再通过本地字典快速匹配每个ID的结果，既能减少数据库IO开销，又能完全适配你原有针对每个ID的业务逻辑。

具体实现步骤 #

1. 批量拉取存在的文档
   用$in操作符一次性查询所有目标ID对应的文档，将结果转换成以value（即你的ID）为键的字典。后续判断ID是否存在的操作变成O(1)的本地匹配，完全不用再频繁请求数据库。

2. 遍历ID处理业务逻辑
   遍历原ids列表，通过字典快速判断每个ID的状态：

   • 存在则直接取出对应文档，执行字段检查和函数调用；
   • 不存在则收集待插入的文档，最后批量写入（业务允许的情况下），哪怕逐个插入，也比原来少了50次查询的开销。

优化后的代码示例 #

# 1. 批量查询所有存在的文档，转成ID到文档的映射字典
existing_docs = {doc['value']: doc for doc in db.find({"value": {"$in": ids}})}

# 2. 收集需要新增的文档（支持批量插入）
to_insert = []

for id in ids:
    doc = existing_docs.get(id)
    if doc:
        # 结合ID与返回值检查其他字段并执行函数
        check_fields_and_run_func(id, doc)
    else:
        # 按业务逻辑构造新增文档
        new_doc = {"value": id, "status": "new", "create_time": datetime.now()}
        to_insert.append(new_doc)

# 3. 批量插入不存在的文档（如果有）
if to_insert:
    db.insert_many(to_insert)

额外优化建议 #

• 如果ids存在重复值，先去重：unique_ids = list(set(ids))，避免重复查询和插入；
• 给value字段创建索引：db.create_index("value")，批量查询时能更快定位文档，进一步提升效率；
• 若新增文档的字段需要针对每个ID单独生成，可在遍历中直接插入，但批量查询的优化已经解决了核心性能问题。

内容的提问来源于stack exchange，提问作者PythonDev