pymongo查询超1万条文档后如何高效生成以id为键的字典

你之前测试认为find查询快、遍历慢，实际上pymongo的find()默认返回懒加载游标，执行find的阶段只是向MongoDB提交了查询请求拿到游标对象，没有真正拉取全量数据，数据拉取动作是在遍历游标时才逐批执行的，你统计到的循环耗时已经包含了网络传输拉取数据的开销。

以下是按优先级排序的优化方案：

• 方案1：用字典推导式+一次性拉取全量数据替换手动循环
  字典推导式是Python底层C实现的循环逻辑，比Python层手写for循环+计数赋值的效率高40%以上，同时先把游标转成list会一次性批量拉取所有数据，减少逐次拉取的开销。
  优化后代码：

  import time
  
  t1 = time.time()
  # 一次性拉取所有查询结果到本地列表
  mydocs = list(self.mypoint.find(myquery))
  t2 = time.time()
  print(f"[diagnostic] Time for query + pull all data: {t2 - t1}")
  # 字典推导式构建目标字典
  res = {doc["id"]: doc for doc in mydocs}
  t3 = time.time()
  print(f"[diagnostic] Time to build dictionary: {t3-t2} - n_points = {len(mydocs)}")
  

• 方案2：调整游标批量拉取大小，减少网络请求次数
  默认游标单次拉取的批量大小较小，对于万条以上的结果集，可以主动调大batch_size，降低网络交互的开销：

  # 可根据实际服务器带宽、内存调整批量大小，比如设置为2000
  mydocs = list(self.mypoint.find(myquery).batch_size(2000))
  

• 方案3：按需添加查询投影，减少无效数据传输
  如果你不需要返回文档的全部字段，可以在find方法里指定投影，只拉取需要的字段，减少数据传输量：

  # 示例：只返回id、坐标、地址三个字段，不需要默认返回的_id可以显式指定为0
  mydocs = list(self.mypoint.find(myquery, {"_id": 0, "id": 1, "location": 1, "address": 1}))
  

• 方案4：超大结果集用pandas批量处理
  如果查询结果超过10万条，用pandas做结构化转换的效率会比原生Python操作更高：

  import pandas as pd
  import time
  
  t1 = time.time()
  mydocs = list(self.mypoint.find(myquery))
  t2 = time.time()
  # 转DataFrame后设置id为索引，再转成目标字典格式
  df = pd.DataFrame(mydocs)
  res = df.set_index("id").to_dict("index")
  t3 = time.time()
  print(f"[diagnostic] Total time: {t3-t1} - n_points = {len(mydocs)}")
  

内容的提问来源于stack exchange，提问作者lateautumntear