如何使tf.signal.frame+rfft与librosa.stft的计算结果一致？

差异核心原因 #

两者结果不一致的关键在于：

• TensorFlow的tf.signal.frame仅做单纯分帧，未加窗；而Librosa的stft默认会应用汉明窗。
• 两者的STFT输出维度顺序不同，需要对齐。

具体调整步骤 #

1. 给TensorFlow分帧后的信号加匹配窗口 #

Librosa默认使用汉明窗，TensorFlow侧需同步添加相同窗口：

import tensorflow as tf
import librosa

audio = 'fileid_0.wav'
sig, rate = librosa.core.load(audio, 16000, mono=True)
blockLen = 512
block_shift = 128

# 生成与Librosa一致的汉明窗（periodic=False是关键）
window = tf.signal.hamming_window(blockLen, periodic=False)
# 分帧后给每帧加窗
frames = tf.signal.frame(sig, blockLen, block_shift)
windowed_frames = frames * window[tf.newaxis, :]
# 执行实值FFT
stft_dat = tf.signal.rfft(windowed_frames)

2. 对齐输出维度 #

Librosa的stft输出形状为(n_fft//2 + 1, 帧数量)，而TensorFlow的rfft输出是(帧数量, n_fft//2 + 1)，需转置对齐：

stft_dat = tf.transpose(stft_dat)

3. 统一Librosa的参数配置 #

显式指定Librosa的窗口类型，避免默认参数变更导致差异：

stft_librosa = librosa.stft(
    sig,
    n_fft=512,
    hop_length=128,
    win_length=512,
    center=False,
    window='hamming'  # 显式匹配TensorFlow的窗口类型
)

4. 验证结果一致性 #

通过计算均方误差验证，误差应处于浮点精度级别的极小值范围：

import numpy as np

mse = np.mean(np.abs(stft_dat.numpy() - stft_librosa)**2)
print(f"均方误差: {mse}")

关键细节提醒 #

• 窗口周期性：必须保持periodic=False，否则窗口数值会出现细微差异。
• 中心对齐：两者均设置center=False，避免Librosa自动补零导致帧偏移。
• 浮点误差：由于框架实现细节，可能存在极小的数值误差，属于正常现象，不影响实际使用。

内容的提问来源于stack exchange，提问作者Smitha Prem