如何用上下文窗口分割对数梅尔频谱并保证音频段数一致？

我来一步步帮你解决这几个卡点，都是音频信号处理入门时很容易困惑的点～

一、先搞定n_fft的参数设置 #

你当前的计算逻辑是对的，但可以再明确下：

• 论文要求25ms汉明窗，所以win_length必须严格对应这个时长：int(np.ceil(0.025 * sr))，对sr=22050来说就是552（0.025*22050=551.25，向上取整）。
• n_fft是STFT的傅里叶变换点数，只要它大于等于win_length就可以——因为当n_fft更大时，窗口会被自动补零到n_fft长度，不影响实际的窗口覆盖时长。如果追求计算效率，你也可以选大于等于552的最小2的幂（比如1024），但论文没提特殊要求的话，直接把n_fft设成和win_length一致（552）就完全符合要求，不用纠结。

另外，你的梅尔频谱代码有个小语法错误，修正后可以更简洁（不用单独调用stft，melspectrogram可以直接传所有参数）：

import librosa
import numpy as np

y, sr = librosa.load(audio_file, sr=None)  # 保留原始采样率，这里假设是22050
n_mels = 64
win_length = int(np.ceil(0.025 * sr))
hop_length = int(np.ceil(0.010 * sr))
window = 'hamming'
fmin = 20
fmax = 8000
n_fft = win_length  # 直接和窗口长度一致

# 计算对数梅尔频谱
M = np.log(librosa.feature.melspectrogram(
    y=y, sr=sr, n_mels=n_mels, fmin=fmin, fmax=fmax,
    n_fft=n_fft, hop_length=hop_length, win_length=win_length,
    window=window, center=False
) + 1e-6)

center=False的设置非常关键，它能避免边缘补零导致的帧数计算偏差，让你的梅尔频谱帧数和实际音频时长严格对应。

二、核心难题：让不同时长音频得到固定数量N的64x64片段 #

论文要求用64帧窗口、步长30帧分割，最终要得到(N, 64, 64)的特征输入。这里有两种实用方案，取决于你是否能修改原始音频的时长：

方案1：统一音频时长（推荐，最贴合论文要求） #

如果论文允许预处理时统一所有音频的时长，这是最稳妥的方法——先把所有音频截断或补零到固定时长，这样梅尔频谱的帧数T就固定了，按步长分割后自然能得到固定N个片段。

步骤如下：

1. 先确定你需要的目标段数N，计算出需要的最小梅尔频谱帧数：
   target_frames = 64 + (N - 1) * 30
   比如你要N=10个片段，target_frames=64+9*30=334帧。
2. 计算对应的目标音频样本数（因为center=False时，音频长度和帧数的关系是：len(y) >= win_length + (target_frames - 1)*hop_length）：
   target_samples = win_length + (target_frames - 1) * hop_length
3. 把所有音频统一到这个样本数：

   # 统一音频长度
   if len(y) > target_samples:
       y = y[:target_samples]  # 截断过长的音频
   else:
       y = np.pad(y, (0, target_samples - len(y)), mode='constant')  # 补零过短的音频
   

4. 重新计算梅尔频谱，再按步长分割：

   # 分割成64x64片段
   segments = []
   for i in range(0, M.shape[1] - 64 + 1, 30):
       segment = M[:, i:i+64]
       segments.append(segment)
   # 此时segments的长度就是N，转换成数组后就是模型需要的输入
   features = np.array(segments)  # shape (N, 64, 64)
   

方案2：不修改音频时长，动态调整片段数量 #

如果不能修改原始音频时长，就对梅尔频谱的片段做调整：

• 先按步长30帧滑动窗口，提取所有可能的64x64片段；
• 如果片段数量少于N，就重复最后一个片段补到N个；
• 如果片段数量多于N，就均匀采样N个（或者取前N个，根据论文要求选择）。

代码实现：

# 提取所有可能的片段
segments = []
total_frames = M.shape[1]
start_idx = 0
while start_idx + 64 <= total_frames:
    segments.append(M[:, start_idx:start_idx+64])
    start_idx += 30

# 固定片段数量为N
N = 10  # 替换成你需要的固定段数
if len(segments) < N:
    # 补最后一个片段（如果没有片段就补零矩阵）
    last_seg = segments[-1] if segments else np.zeros((64, 64))
    while len(segments) < N:
        segments.append(last_seg)
elif len(segments) > N:
    # 均匀采样N个片段
    sample_indices = np.linspace(0, len(segments)-1, N, dtype=int)
    segments = [segments[i] for i in sample_indices]

features = np.array(segments)  # shape (N, 64, 64)

三、额外验证小技巧 #

你可以用这个公式验证梅尔频谱的帧数是否正确（center=False时）：
总帧数T = floor((len(y) - win_length)/hop_length) + 1
比如你给出的例子：len(y)=237142，win_length=552，hop_length=221，计算得(237142-552)/221≈1070.54，floor后是1070，+1=1071帧，这样就能检查你的M.shape[1]是否符合预期啦。

内容的提问来源于stack exchange，提问作者user2687945