执行高负载Python代码后系统异常缓慢的原因排查求助

核心原因 #

你这段代码生成的数组规模远超常规内存承载：6^10 = 60,466,176个元素，每个元素按numpy默认的float64计算，单个数组就占约483MB（60466176 * 8字节），而meshgrid返回10个数组，总内存占用接近4.8GB。这会直接占满物理内存，系统被迫启用硬盘swap空间补充。

即使删除变量、重启Python内核，操作系统的页缓存（page cache）里已经塞满了这些数组的磁盘交换数据，而Windows/Linux默认不会主动释放这类缓存，导致后续系统操作都得频繁读写速度远慢于内存的硬盘，所以连输入2+2都会卡顿。

解决办法 #

1. 不重启电脑释放内存缓存 #

• Windows系统：
  打开管理员权限的命令提示符，执行：

  rundll32.exe advapi32.dll,ProcessIdleTasks
  

  或者在任务管理器的「性能」标签页，右键点击内存区域，选择「释放内存」。

• Linux系统：
  执行以下root权限命令：

  sync && echo 3 > /proc/sys/vm/drop_caches
  

  该命令会先将缓存数据同步到硬盘，再释放页缓存、目录项和inodes缓存。

2. 避免生成超大数组的优化方案 #

直接生成10维meshgrid完全没必要，建议改用索引计算或分块处理：

• 用np.indices替代meshgrid，按需生成索引而非全量数组：

  indices = np.indices((6,)*10)
  # 后续计算直接用索引对应v的值，无需预先生成全量网格
  values = v[indices]
  

• 若必须生成网格，可分块处理，每次只计算部分数据，完成后立即释放内存：

  v = np.array([0, 0.2, 0.4, 0.6, 0.8, 1])
  chunk_size = 1000000  # 根据自身内存情况调整块大小
  for i in range(0, 6**10, chunk_size):
      # 生成当前块的索引
      idx = np.unravel_index(np.arange(i, min(i+chunk_size, 6**10)), (6,)*10)
      # 计算当前块的网格值
      chunk = v[idx]
      # 执行你的计算逻辑
      # ...
      # 手动释放内存
      del chunk
      import gc
      gc.collect()
  

3. 预防措施 #

• 运行大内存代码前，先估算内存占用：比如用6**10 * 8 * 10 / 1024**3算出总占用约4.5GB，判断自身物理内存是否足够。
• 启用Python的tracemalloc工具实时跟踪内存使用：

  import tracemalloc
  tracemalloc.start()
  # 运行你的代码
  snapshot = tracemalloc.take_snapshot()
  top_stats = snapshot.statistics('lineno')
  for stat in top_stats[:5]:
      print(stat)
  

内容的提问来源于stack exchange，提问作者rod