短时傅里叶变换及逆变换数据丢失：求音频质量优化方案

从你展示的波形图可以看出，重构后的音频存在严重的幅度衰减和时域不连续问题，这是由STFT/ISTFT实现中的三个核心错误导致的：

核心问题点 #

• 无帧重叠处理：直接按blocksize分割音频，没有使用重叠帧，加窗后帧边界信号能量被严重衰减，重构时无法恢复连续性。
• 缺失窗能量补偿：汉宁窗会衰减信号能量，逆变换后未做补偿，导致重构信号幅度被压低，且重叠区域能量叠加异常。
• 重叠相加逻辑错误：ISTFT中直接将逆变换块放到无重叠位置相加，完全违背了STFT逆变换的重叠相加核心逻辑，引发信号断层。

修正后的完整实现 #

import numpy as np

class AudioLib:
    '''Library of audio processing functions.'''
    def __init__(self, blocksize=2048, hop_size=None):
        self.blocksize = blocksize
        # 默认采用50%重叠（汉宁窗实现完全重构的标准配置）
        self.hop_size = hop_size if hop_size is not None else blocksize // 2
        self.window = np.hanning(blocksize)
        # 预计算窗重叠总和，用于逆变换时的能量补偿
        self.window_sum = np.zeros(blocksize)
        for i in range(0, blocksize, self.hop_size):
            self.window_sum[i:i+blocksize] += self.window

    def stft(self, audio):
        '''Compute the short-time Fourier transform of the audio.'''
        # 计算有效帧数，确保覆盖音频末尾
        num_blocks = (len(audio) - self.blocksize) // self.hop_size + 1
        # 生成重叠帧（基于内存 stride，无数据复制）
        blocks = np.lib.stride_tricks.as_strided(
            audio,
            shape=(num_blocks, self.blocksize),
            strides=(audio.strides[0] * self.hop_size, audio.strides[0])
        )

        # 对每帧施加窗函数
        windowed_blocks = blocks * self.window[np.newaxis, :]

        # 计算傅里叶变换
        spectrum = np.fft.fft(windowed_blocks, axis=1)

        return spectrum
    
    def istft(self, spectrum):
        '''Compute the inverse short-time Fourier transform of the spectrum.'''
        # 逆傅里叶变换，取实部消除浮点误差虚部
        windowed_blocks = np.fft.ifft(spectrum, axis=1).real

        # 计算重构信号的正确长度
        output_length = (len(spectrum) - 1) * self.hop_size + self.blocksize
        output = np.zeros(output_length)
        
        # 重叠相加重构信号
        for i, block in enumerate(windowed_blocks):
            start = i * self.hop_size
            output[start:start+self.blocksize] += block

        # 窗能量补偿，抵消加窗带来的能量衰减
        output[:len(self.window_sum)] /= self.window_sum

        return output

关键修改说明 #

1. 帧重叠配置：

   • 新增hop_size参数，默认设为blocksize//2（50%重叠），这是STFT实现完全重构的标准配置，配合汉宁窗可实现理论上的无损失重构。
   • 使用np.lib.stride_tricks.as_strided高效生成重叠帧，避免冗余数据复制。

2. 窗能量补偿：

   • 预计算window_sum，即所有重叠窗在每个时域位置的叠加总和，逆变换后将信号除以该值，彻底抵消加窗导致的能量衰减。

3. 重叠相加逻辑修正：

   • 计算正确的输出长度：(帧数-1)*hop_size + blocksize，确保覆盖所有重叠区域。
   • 按hop_size步长将逆变换帧叠加到对应位置，恢复时域信号的连续性。

验证建议 #

• 用纯净正弦波测试：对比原始信号与重构信号的波形、频谱，应几乎完全一致（仅存在浮点精度级别的误差）。
• 调整重叠率：若需不同重叠比例，确保窗函数满足重叠相加正交性（如汉宁窗50%重叠、矩形窗100%重叠），否则需调整补偿逻辑。

内容的提问来源于stack exchange，提问作者Biscuit