生成带噪频谱图时内存占用持续攀升的原因及解决办法

核心问题原因 #

1. Matplotlib资源未彻底释放：虽然调用了plt.close()，但默认仅关闭当前活跃的figure，循环中多次创建的fig对象可能有残留；另外specgram返回的im图像句柄未显式清理，会持续占用内存。
2. 不必要的内存开销：将numpy数组转成list（x_r = list(x + ...)）完全多余，会额外占用双倍内存空间。
3. 频繁目录切换的潜在残留：多次调用os.chdir可能导致文件系统相关的隐性资源泄漏，不如直接使用完整路径更稳妥。

具体修复措施 #

1. 彻底清理Matplotlib资源 #

• 显式关闭每个创建的fig对象，替换plt.close()为plt.close(fig)；同时删除specgram返回的im句柄，避免残留。
• 循环末尾可额外调用plt.clf()+plt.cla()清理坐标轴和画布资源。

2. 移除无意义的类型转换 #

直接使用numpy数组传递给specgram，无需转成list：

x_r = x + np.random.normal(0, x_std, x_len)
y_r = y + np.random.normal(0, y_std, y_len)
z_r = z + np.random.normal(0, z_std, z_len)

3. 避免频繁切换目录，使用完整路径保存 #

预先定义保存目录，直接在savefig中指定完整路径，省去os.chdir的反复调用：

# 预先创建目录（如果不存在）
x_save_dir = "X/x_norm"
y_save_dir = "Y/y_norm"
z_save_dir = "Z/z_norm"
for dir_path in [x_save_dir, y_save_dir, z_save_dir]:
    os.makedirs(dir_path, exist_ok=True)

# 保存时直接拼接路径
fig.savefig(os.path.join(x_save_dir, fig_name), bbox_inches='tight', pad_inches=0)

4. 指定非交互式后端 #

批量生成图像时，使用无GUI的Agg后端可避免GUI相关的内存泄漏：

plt.switch_backend('Agg')

5. 手动触发垃圾回收 #

在循环末尾强制调用垃圾回收，清理未被引用的对象：

import gc
gc.collect()

修复后的完整代码 #

import numpy as np
import matplotlib.pyplot as plt
import os
import gc

# 指定非交互式后端，避免GUI内存泄漏
plt.switch_backend('Agg')

# 预先定义并创建保存目录
x_save_dir = "X/x_norm"
y_save_dir = "Y/y_norm"
z_save_dir = "Z/z_norm"
for dir_path in [x_save_dir, y_save_dir, z_save_dir]:
    os.makedirs(dir_path, exist_ok=True)

# 读取传感器数据（用with语句自动关闭文件）
with open("datafile_1685530800.txt", "r") as f:
    x, y, z = [], [], []
    for idx, line in enumerate(f):
        if idx > 1:
            datum = [float(val) for val in line.split(",")]
            x.append(datum[2])
            y.append(datum[3])
            z.append(datum[4])

x = np.array(x)
y = np.array(y)
z = np.array(z)

x_std, x_len = np.std(x), len(x)
y_std, y_len = np.std(y), len(y)
z_std, z_len = np.std(z), len(z)

# 循环生成带噪声的频谱图
for idx in range(270):
    print(idx)
    
    # 直接生成带噪声的numpy数组，无需转list
    x_r = x + np.random.normal(0, x_std, x_len)
    y_r = y + np.random.normal(0, y_std, y_len)
    z_r = z + np.random.normal(0, z_std, z_len)
    
    # X轴频谱图生成与清理
    fig = plt.figure()
    ax = plt.subplot(111)
    _, _, _, im = ax.specgram(x_r)
    ax.axis('off')
    fig.tight_layout()
    fig.savefig(os.path.join(x_save_dir, f"x_{idx}.png"), bbox_inches='tight', pad_inches=0)
    del im
    plt.close(fig)
    
    # Y轴频谱图生成与清理
    fig = plt.figure()
    ax = plt.subplot(111)
    _, _, _, im = ax.specgram(y_r)
    ax.axis('off')
    fig.tight_layout()
    fig.savefig(os.path.join(y_save_dir, f"y_{idx}.png"), bbox_inches='tight', pad_inches=0)
    del im
    plt.close(fig)
    
    # Z轴频谱图生成与清理
    fig = plt.figure()
    ax = plt.subplot(111)
    _, _, _, im = ax.specgram(z_r)
    ax.axis('off')
    fig.tight_layout()
    fig.savefig(os.path.join(z_save_dir, f"z_{idx}.png"), bbox_inches='tight', pad_inches=0)
    del im
    plt.close(fig)
    
    # 清理临时变量并触发垃圾回收
    del x_r, y_r, z_r
    gc.collect()

内容的提问来源于stack exchange，提问作者DrBwts