基于NAudio的C# STFT实现及音频流对比方案问询

Hey there! 作为刚接触C#音频流分析的新手，你的思路方向很靠谱，我来帮你梳理下具体的实现细节，尤其是STFT（短时傅里叶变换）部分和音频对比的核心逻辑～

一、优化音频读取逻辑 #

你给出的读取WAV到float[]的代码可以进一步优化，用using语句自动释放资源，避免内存泄漏：

float[] ReadWavToFloatArray(string filePath)
{
    using var audioReader = new AudioFileReader(filePath);
    // 计算缓冲区大小：AudioFileReader的Length是字节数，每个float占4字节
    var buffer = new float[(int)audioReader.Length / sizeof(float)];
    audioReader.Read(buffer, 0, buffer.Length);
    return buffer;
}

注意：确保两个待对比的音频采样率、通道数一致，否则需要先通过NAudio的WaveFormatConversionStream统一格式

二、STFT的实现（基于NAudio的FFT工具） #

NAudio自带FourierTransform类可以快速实现FFT，STFT的核心是分帧-加窗-FFT三步，具体代码如下：

using NAudio.Dsp;

// 计算音频的STFT频谱帧列表
List<Complex[]> ComputeSTFT(float[] audioBuffer, int frameSize = 1024, int hopSize = 512)
{
    var stftFrames = new List<Complex[]>();
    var window = GenerateHammingWindow(frameSize); // 用汉明窗减少频谱泄漏
    
    for (int i = 0; i + frameSize <= audioBuffer.Length; i += hopSize)
    {
        // 提取当前帧
        var frame = new float[frameSize];
        Array.Copy(audioBuffer, i, frame, 0, frameSize);
        
        // 对帧加窗
        ApplyWindow(frame, window);
        
        // 转换为Complex数组用于FFT
        var complexFrame = new Complex[frameSize];
        for (int j = 0; j < frameSize; j++)
        {
            complexFrame[j].X = frame[j];
            complexFrame[j].Y = 0f; // 初始虚部为0
        }
        
        // 执行正向FFT
        FourierTransform.FFT(complexFrame, FourierTransform.Direction.Forward);
        
        stftFrames.Add(complexFrame);
    }
    
    return stftFrames;
}

// 生成汉明窗
float[] GenerateHammingWindow(int size)
{
    var window = new float[size];
    for (int i = 0; i < size; i++)
    {
        window[i] = (float)(0.54 - 0.46 * Math.Cos(2 * Math.PI * i / (size - 1)));
    }
    return window;
}

// 给音频帧加窗
void ApplyWindow(float[] frame, float[] window)
{
    if (frame.Length != window.Length)
        throw new ArgumentException("帧长度和窗长度必须一致");
    
    for (int i = 0; i < frame.Length; i++)
    {
        frame[i] *= window[i];
    }
}

参数说明：frameSize建议取2的幂（如1024、2048），提升FFT效率；hopSize一般设为frameSize的1/2，保证帧之间的重叠，避免频谱信息丢失

三、SmbPitchShifter的使用（保持音调的同时验证处理流程） #

你提到设置PitchShift=1（不改变音调），这时候SmbPitchShifter本质是对音频做STFT→逆STFT的过程，可以用它来验证你的音频处理链路是否正常：

using NAudio.Dsp;

float[] ProcessWithPitchShifter(float[] audioBuffer, int sampleRate, float pitchShift = 1f)
{
    var shifter = new SmbPitchShifter();
    shifter.Init(sampleRate, 1024, 4, pitchShift); // 初始化参数：采样率、帧大小、重叠数、音调偏移
    
    var outputBuffer = new float[audioBuffer.Length];
    shifter.Process(audioBuffer, outputBuffer, audioBuffer.Length);
    
    return outputBuffer;
}

如果只是为了对比音频，其实可以直接用原音频的STFT和处理后音频的STFT做对比，验证处理是否无失真

四、音频流对比逻辑 #

拿到两个音频的STFT频谱后，可以通过计算**帧频谱幅度的均方误差（MSE）**来量化相似度，MSE越小说明两个音频越相似：

double CompareAudioSTFTs(List<Complex[]> stft1, List<Complex[]> stft2)
{
    if (stft1.Count != stft2.Count)
        throw new ArgumentException("两个音频的STFT帧数不一致，请确保音频长度和STFT参数相同");
    
    double totalMse = 0;
    int frameSize = stft1[0].Length;
    
    foreach (var (frame1, frame2) in stft1.Zip(stft2, (f1, f2) => (f1, f2)))
    {
        double frameMse = 0;
        for (int j = 0; j < frameSize; j++)
        {
            // 计算频谱幅度
            double mag1 = Math.Sqrt(frame1[j].X * frame1[j].X + frame1[j].Y * frame1[j].Y);
            double mag2 = Math.Sqrt(frame2[j].X * frame2[j].X + frame2[j].Y * frame2[j].Y);
            
            // 累加幅度误差的平方
            frameMse += Math.Pow(mag1 - mag2, 2);
        }
        totalMse += frameMse / frameSize;
    }
    
    // 返回平均MSE
    return totalMse / stft1.Count;
}

五、完整调用示例 #

// 读取两个待对比的WAV文件
var audio1 = ReadWavToFloatArray("audio1.wav");
var audio2 = ReadWavToFloatArray("audio2.wav");

// 计算STFT
var stft1 = ComputeSTFT(audio1);
var stft2 = ComputeSTFT(audio2);

// 对比相似度
double similarityScore = CompareAudioSTFTs(stft1, stft2);
Console.WriteLine($"两个音频的相似度（MSE）：{similarityScore:F4}");

如果还有细节需要调整，比如多通道音频的处理、采样率转换、或者其他相似度计算方法（如余弦相似度），可以随时细化你的需求～

内容的提问来源于stack exchange，提问作者邱耀緯