降低matplotlib内存占用 解决绘图触发段错误问题

问题描述 #

使用matplotlib绘制较大规模数据集时，即使提前对数据做了int8、categorical类型转换等内存压缩操作，依然会触发segmentation fault（段错误）。
当前需绘制7个结构相似的DataFrame，单个DataFrame内存占用在961.3KB-1.3MB区间，相关dataframe.info()结果如下：

现有绘图代码片段：

for col in hrlogic.columns:
    plt.subplot(5,5,i)
    plt.plot(x,hrlogic[col],label=(f"R = %d"%hrlogic[col].astype(bool).sum()))
    plt.title(col)
    plt.legend()

其中x为取自另一个DataFrame的时间列。

具体优化措施 #

• 先修复子图逻辑的显性bug
  原循环中没有对子图索引i做递增操作，会导致所有列的折线、图例、标题元素反复叠加在同一个子图位置，大量冗余渲染对象堆积不仅占用内存，还可能触发底层C渲染层的内存越界。另外硬编码5,5的子图网格要提前匹配总列数，总列数超过25会出现位置溢出。修正后的基础循环逻辑参考：

  # 提前计算需要的子图行列数，每行放5个子图
  n_cols = len(hrlogic.columns)
  n_rows = (n_cols + 4) // 5
  fig, axs = plt.subplots(n_rows, 5, figsize=(15, 3*n_rows))
  axs = axs.flatten()  # 把二维子图数组展平方便索引
  
  for idx, col in enumerate(hrlogic.columns):
      ax = axs[idx]
      r_count = hrlogic[col].astype(bool).sum()
      ax.plot(x, hrlogic[col], label=f"R = {r_count}", rasterized=True)
      ax.set_title(col)
      ax.legend()
  # 关掉多余的空白子图
  for idx in range(n_cols, len(axs)):
      axs[idx].axis('off')
  

• 降低折线渲染的内存开销
  单DataFrame的原始内存只有1MB左右，但如果是高采样率的时间序列（单序列几十万到上百万点），matplotlib默认保存矢量渲染路径的内存开销是原始数据的几十上百倍，很容易触发内存不足。两个直接有效的调整：
  1. 绘图时加rasterized=True参数，将折线转为栅格图层渲染，不用保存海量矢量路径点，内存占用可降低90%以上，视觉效果无明显差异
  2. 如果单序列点数超过2000个，提前做滑动窗口降采样，比如按时间窗口取均值/最大最小值，把单条线的点数控制在1000-2000区间，人眼完全分辨不出和原始数据的区别，渲染速度和内存占用会大幅下降
• 避免循环绘图的内存泄漏
  如果要循环绘制7个结构类似的DataFrame，每画完一个DataFrame的画布、保存输出后，立刻执行plt.close(fig)释放当前画布的所有渲染对象，不要让之前的绘图对象残留在内存中持续堆积。另外提前把每个列的统计值（比如代码里的bool求和结果）提前计算好存为字典，不要在循环里反复做类型转换、统计计算，减少临时内存占用。
• 排查后端兼容问题
  如果是在无桌面环境的服务器上运行脚本，在导入pyplot前先切换为非交互的Agg后端，避免交互后端（Qt/Tk等）的事件循环、界面缓存带来的额外开销，部分版本的交互后端在频繁创建子图时确实存在触发段错误的已知问题：

  import matplotlib
  matplotlib.use('Agg')  # 必须在导入pyplot前执行
  import matplotlib.pyplot as plt
  

• 做基础的边界校验
  提前校验时间列x和每个待绘列的长度是否完全一致，长度不匹配会导致底层C代码读取越界内存，直接触发段错误，这类问题和总内存大小无关，属于参数不匹配导致的内存访问错误。

内容的提问来源于stack exchange，提问作者new2cod3