未导入PyTorch的Flask应用启动内存过高问题排查

可能的触发机制 #

• 依赖包的隐式导入：部分Python包会在自身初始化或被导入时，自动触发依赖库的加载——哪怕你没有直接调用这些库。比如某些工具类包、监控类包，或是依赖的初始化脚本，都可能间接导入torch、sentence-transformers相关模块。
• Flask扩展的隐式依赖：若使用了特定Flask扩展，其内部实现可能依赖这些库，或是扩展的初始化逻辑会主动加载相关模块。
• Python模块缓存残留：如果项目中曾有文件（哪怕是测试文件、配置文件）导入过这些库，Python的sys.modules模块缓存可能保留其引用，导致内存占用。不过容器重启后该问题通常会消失。

具体排查步骤 #

• 全项目导入语句检查：遍历项目所有.py文件（包括__init__.py、配置文件、第三方扩展初始化代码），确认是否存在间接导入torch、angle_emb、sentence_transformers的情况。可使用以下命令快速检索：

  grep -r "import torch\|import angle_emb\|import sentence_transformers" /path/to/your/project
  

• 跟踪模块加载过程：在Flask启动前添加代码监控模块加载，或通过环境变量打印导入细节：
  1. 使用trace模块跟踪导入流程：

     import sys
     from trace import Trace
     
     tracer = Trace(ignoredirs=[sys.prefix, sys.exec_prefix], trace=0, count=1)
     tracer.run("from flask import Flask; app = Flask(__name__); app.run()")
     

  2. 设置环境变量PYTHONVERBOSE=1启动应用，Python会打印所有导入的模块细节，从中定位意外加载的PyTorch相关模块。
• 分析完整依赖树：用pipdeptree工具查看依赖链路，确认是否有其他包间接引入torch：

  pip install pipdeptree
  pipdeptree | grep -E "(torch|angle-emb|sentence-transformers)"
  

• 梳理Flask启动流程：检查app.py中的初始化代码、蓝图注册、扩展初始化逻辑，看是否存在触发依赖加载的函数（比如某些配置类、日志工具的初始化）。
• 内存快照定位：使用memory_profiler生成内存快照，定位高内存占用的对象来源：

  from memory_profiler import profile
  
  @profile
  def app_start():
      from flask import Flask
      app = Flask(__name__)
      # 加入项目所有启动初始化代码
      return app
  
  if __name__ == "__main__":
      app = app_start()
      app.run()
  

• 最小化应用测试：创建仅含基础启动代码的Flask应用，逐步添加原项目的依赖和代码，每次添加后检查内存占用，定位触发内存升高的具体依赖或代码块。

内容的提问来源于stack exchange，提问作者JJ Zabkar