迭代Mongoengine查询集如何避免大量内存消耗

内存随迭代次数线性增长，最终被系统OOM终止的核心原因是MongoEngine默认QuerySet的内置缓存机制：

• 直接遍历SomeModel.objects.filter()返回的QuerySet对象时，MongoEngine会把所有迭代过的文档模型实例，全部存入QuerySet内部的_result_cache列表做缓存。这个设计的初衷是支持后续重复遍历同一个QuerySet时，不需要重复发起数据库查询。
• 所有被遍历过的模型实例都会被这个缓存列表长期持有引用，Python垃圾回收机制无法回收这些对象，因此每完成一次迭代，内存就会对应上涨1-2MB，遍历的数据集总量越大，最终内存占用越高。
• 手动在循环末尾执行del rel等操作属于临时取巧方案，只是删除了当前循环作用域对实例的部分引用，没有从根源上关闭不必要的缓存逻辑，代码迭代时很容易漏写删除语句导致问题复现，维护成本很高。

根据单次遍历的场景，推荐按优先级选择以下正规解法，不需要手动del变量：

• 首选方案：调用QuerySet的no_cache()方法关闭缓存
  这个方法会直接告诉MongoEngine不要缓存任何遍历过的文档实例，单个实例迭代完成后，只要没有业务代码持有的引用，就会被垃圾回收器自动回收，内存不会随迭代次数持续上涨。修改后的查询代码如下：

  import tracemalloc
  from mongoengine_models import SomeModel
  
  tracemalloc.start()
  # 在filter后追加.no_cache()即可
  for count, rel in enumerate(SomeModel.objects.filter(some_attr="some_value").no_cache()):
      current, peak = tracemalloc.get_traced_memory()
      current_mb = current / 10**6
      peak_mb = peak / 10**6
      print(f"Current memory usage is {current_mb}MB; Peak was {peak_mb}MB")
      print(count, rel.some_other_attr_1, rel.some_other_attr_2)
  tracemalloc.stop()
  

• 大数据量优化方案：搭配服务端游标使用
  如果需要遍历的文档量级达到十万级以上，可以在no_cache()基础上追加timeout(False)开启MongoDB服务端游标，避免驱动一次性把所有查询结果拉到客户端内存，进一步压低内存基线：

  # 注意该用法需要匹配对应版本的pymongo驱动与MongoDB服务端
  query = SomeModel.objects.filter(some_attr="some_value").no_cache().timeout(False)
  for count, rel in enumerate(query):
      # 原有业务逻辑不变
      pass
  

• 额外优化：按需加载字段
  如果业务逻辑只需要用到文档的部分字段，可以追加only()方法指定要加载的字段，不加载冗余字段，进一步降低单个文档实例的内存占用：

  # 只加载业务需要的两个字段
  for count, rel in enumerate(
      SomeModel.objects.filter(some_attr="some_value")
      .no_cache()
      .only("some_other_attr_1", "some_other_attr_2")
  ):
      # 业务逻辑
      pass
  

注意：只有后续业务逻辑确实需要重复遍历同一个QuerySet的结果时，才应该保留默认缓存机制，单次遍历的批处理/数据清洗场景默认都应该加上no_cache()避免无意义的内存占用。

内容的提问来源于stack exchange，提问作者barciewicz