如何分析Python库导入后的内存占用大小及分布

适配需求的工具方案 #

• tracemalloc + 自定义导入追踪脚本（Python 3.4+ 原生支持，无额外依赖，统计精度最高）
  直接运行以下脚本即可输出每个模块导入后的内存增量：

  import tracemalloc
  import importlib
  import sys
  
  tracemalloc.start()
  # 替换为你要排查的目标库名，脚本会自动遍历所有关联导入的模块
  target_lib = "你的目标库名称"
  loaded_before = set(sys.modules.keys())
  prev_mem = tracemalloc.get_traced_memory()[0]
  
  importlib.import_module(target_lib)
  
  # 遍历所有新增导入的模块统计内存
  for mod_name in set(sys.modules.keys()) - loaded_before:
      mod = sys.modules[mod_name]
      if not hasattr(mod, '__file__'):
          continue
      # 计算该模块对应代码分配的内存
      snap = tracemalloc.take_snapshot()
      mod_mem = sum(
          stat.size for stat in snap.statistics('filename')
          if stat.filename == mod.__file__
      ) / (1024 * 1024)
      print(f"模块 {mod_name} 对应内存占用：{mod_mem:.2f} MB，文件路径：{mod.__file__}")
  
  total_used = tracemalloc.get_traced_memory()[0] / (1024 * 1024)
  print(f"\n总导入内存占用：{total_used:.2f} MB")
  

  该方案直接从Python内存分配层采集数据，不会出现pympler统计不全的问题，也能精确对应到每个文件的内存占用。
• py-spy 非侵入式分析工具
  安装后直接执行命令：py-spy record --native -- python -c "import 目标库名"，运行完成后会生成火焰图，可直接定位到导入阶段占用内存最高的代码行，包括C扩展分配的内存。

快速定位技巧 #

• 优先检查目标库的__init__.py顶层代码：90%以上的导入内存暴涨都是因为顶层代码执行了预加载操作，比如预加载大体积的静态资源、生成全局超大映射表、初始化大量实例，可逐段注释测试验证。
• 排查隐式依赖：你之前统计的0.8GB仅包含显式声明的依赖，很多库会在导入阶段通过importlib动态加载未声明的模块，或是加载二进制扩展库，这部分内存不会被计入之前的统计结果，可对比导入前后sys.modules的差异拿到所有实际加载的模块逐一核对。

断点方案优化 #

你提到的手动断点方案可通过导入钩子自动实现，无需手动打断点：

import sys
import tracemalloc

tracemalloc.start()
last_mem = 0

def import_hook(frame, event, arg):
    global last_mem
    if event == "import":
        current_mem = tracemalloc.get_traced_memory()[0] / (1024 * 1024)
        print(f"完成导入 {arg}，新增内存：{current_mem - last_mem:.2f} MB")
        last_mem = current_mem
    return import_hook

sys.settrace(import_hook)
# 替换为目标库导入语句
import 你的目标库名

内容的提问来源于stack exchange，提问作者George