将Librosa生成的PNG格式梅尔频谱图转为兼容NumPy数组

核心逻辑说明 #

Librosa原生生成的梅尔频谱图（通常是librosa.feature.melspectrogram后经librosa.power_to_db取对数）是形状为(n_mels, time_steps)的2D浮点数数组，数值范围一般在-80dB到0dB之间。而PNG是经过matplotlib颜色映射、将dB值归一化到0-255区间后生成的图像，逆向转换需严格对应这些步骤的逆过程。

具体实现步骤 #

1. 加载修改后的PNG并提取像素数据 #

加载图片后转为灰度图（梅尔谱本质是单通道数据，彩色是颜色映射的结果），提取0-255的像素值数组。

2. 逆向颜色映射与归一化 #

使用和生成PNG时完全一致的颜色映射（如viridis），将0-255的像素值映射回对应浮点数，再逆归一化到Librosa的dB范围。

3. 调整数组维度与形状 #

确保还原后的数组维度与Librosa原生输出一致（n_mels对应图片高度，time_steps对应图片宽度），必要时翻转或转置。

4. 验证并保存为.npy文件 #

对比还原后数组与原始梅尔谱的形状、数值范围，确认兼容后保存。

完整代码示例 #

import numpy as np
import matplotlib.pyplot as plt
import matplotlib.cm as cm
from PIL import Image

# ---------------------- 必须与生成PNG时一致的配置参数 ----------------------
n_mels = 128  # Librosa生成梅尔谱时的梅尔滤波器数量
ref_db = 0    # librosa.power_to_db的ref参数，默认0
min_db = -80  # librosa.power_to_db的top_db对应最小值，默认-80
colormap = cm.viridis  # 生成PNG时使用的颜色映射

# ---------------------- 加载修改后的PNG图片 ----------------------
img = Image.open("modified_mel.png").convert("L")
img_array = np.array(img)  # 输出形状为(height, width)，数值0-255

# ---------------------- 逆向颜色映射与归一化 ----------------------
# 初始化与生成PNG时匹配的归一化器
norm = plt.Normalize(vmin=min_db, vmax=ref_db)
# 将像素值归一到0-1区间
pixel_norm = img_array / 255.0
# 通过颜色映射的逆转换得到对应数值
mel_db = colormap(pixel_norm, bytes=False)[:, :, 0]
# 还原为真实dB值
mel_db = norm.inverse(mel_db)

# ---------------------- 调整维度匹配Librosa格式 ----------------------
# 如果生成PNG时用了plt.imshow(origin='lower')，需翻转还原原始梅尔谱的上下顺序
# mel_db = np.flipud(mel_db)
# 验证图片高度与梅尔滤波器数量一致
assert mel_db.shape[0] == n_mels, "图片高度与梅尔滤波器数量不匹配"

# ---------------------- 保存为.npy文件 ----------------------
np.save("restored_mel.npy", mel_db)

关键注意事项 #

• 参数严格一致：n_mels、颜色映射、dB范围等参数必须和生成PNG时完全相同，否则还原结果会出现偏差。
• 维度对应检查：生成PNG时若使用plt.imshow的origin参数，需通过np.flipud还原原始梅尔谱的上下顺序。
• 数值验证：可加载原始梅尔谱.npy文件，对比两者的数值范围和形状，确保输入神经声码器时的兼容性。

内容的提问来源于stack exchange，提问作者HIN0209