Google NDB批量查询1000个模型内存占用过高问题排查

我之前处理Datastore实体加载的时候也碰到过类似的内存超支问题，咱们来一步步拆解原因和解决办法：

首先得明确一个关键点：Datastore显示的8.31MB是实体序列化后存储的总大小，但当你把实体加载成ndb模型对象时，每个实例都会带来额外的内存开销——比如模型对象本身的结构、属性对应的ndb包装类（像ndb.StringProperty这类）、内部元数据（实体键、修改标记、版本信息等），这些额外开销对于小实体来说占比特别高，1000个实例堆起来，内存占用自然会远超存储大小。

先把你提供的禁用缓存的代码补全并格式化一下：

def memoryForAThousandApplicationsNoCache():
    ndb_ctx = ndb.get_context()
    ndb_ctx.set_cache_policy(lambda key: False)
    ndb_ctx.set_memcache_policy(lambda key: False)
    startUsage = memory_usage().current()
    applications = Application.query().fetch(1000)  # 推测你这里是fetch(1000)

接下来给你几个实用的优化方案：

• 分批次加载，避免一次性占用大量内存
  不要一次性用fetch(1000)把所有实体都加载到内存里，改用fetch_page分批次获取，处理完一批再取下一批，这样内存里只会保留当前批次的实体：

  def memoryEfficientFetch():
      ndb_ctx = ndb.get_context()
      ndb_ctx.set_cache_policy(lambda key: False)
      ndb_ctx.set_memcache_policy(lambda key: False)
      startUsage = memory_usage().current()
      
      query = Application.query()
      cursor = None
      batch_size = 100  # 可以根据内存情况调整批次大小
      total_fetched = 0
      
      while total_fetched < 1000:
          applications, cursor, more = query.fetch_page(batch_size, start_cursor=cursor)
          # 在这里处理当前批次的实体
          for app in applications:
              # 你的业务逻辑代码
              pass
          
          total_fetched += len(applications)
          if not more:
              break  # 没有更多数据就退出循环
  

• 只加载需要的属性（投影查询）
  如果你的业务逻辑不需要用到Application实体的所有属性，用projection参数指定只获取需要的字段，这样每个实体在内存中的体积会大幅缩小：

  # 示例：只获取name和id这两个属性
  applications = Application.query().fetch(1000, projection=[Application.name, Application.id])
  

• 验证内存统计的准确性
  确认你用的memory_usage()工具统计的范围——有时候它会统计整个进程的内存，包括进程中其他运行的任务，而不仅仅是实体占用的部分。可以用tracemalloc这类工具来更细粒度地追踪实体对象实际占用的内存：

  import tracemalloc
  
  tracemalloc.start()
  # 执行你的查询代码
  snapshot = tracemalloc.take_snapshot()
  top_stats = snapshot.statistics('lineno')
  print("[Top 10 memory usage]")
  for stat in top_stats[:10]:
      print(stat)
  

• 检查嵌套属性的开销
  如果Application实体包含ndb.StructuredProperty这类嵌套属性，这些嵌套对象也会增加内存占用，要是业务不需要的话，同样可以通过投影查询排除它们。

最后补充一下：小实体的内存放大效应特别明显，比如一个1KB的存储实体，加载成ndb对象后可能要占用5-10KB内存，1000个就是5-10MB，再加上其他进程开销，就很容易远超你预期的存储大小了。

内容的提问来源于stack exchange，提问作者hassassin