在Rust中用Whisper处理Tauri录制的WebM音频异常排查

核心原因 #

你遇到的问题本质是错误地将WebM压缩音频的字节流直接当作原始PCM的i16样本处理：

• WebM是封装格式，内部使用Opus等压缩编码存储音频，并非未经压缩的原始PCM数据；
• Whisper模型要求输入必须是单声道、16kHz采样率的原始i16格式PCM样本；
• 测试WAV正常是因为你用的WAV是未压缩的PCM格式，直接转i16样本的逻辑是正确的，但WebM不适用这套逻辑。

解决方案 #

需要将WebM格式的音频先解码为Whisper要求的原始PCM样本，再传入模型。有两种实现路径：

路径1：前端解码WebM为PCM后再传递 #

在前端将录制的WebM音频解码为原始PCM（单声道、16kHz），转Base64后传给后端，后端直接使用现有逻辑处理即可：

async function blobToPCM(blob) {
  // 强制使用16kHz采样率匹配Whisper要求
  const audioContext = new (window.AudioContext || window.webkitAudioContext)({ sampleRate: 16000 });
  const arrayBuffer = await blob.arrayBuffer();
  const audioBuffer = await audioContext.decodeAudioData(arrayBuffer);
  
  // 转换为单声道（Whisper仅支持单声道输入）
  const channelData = audioBuffer.getChannelData(0);
  // 将浮点样本转为i16格式
  const pcmBytes = new Int16Array(channelData.length);
  for (let i = 0; i < channelData.length; i++) {
    pcmBytes[i] = Math.max(-32768, Math.min(32767, channelData[i] * 32767));
  }
  
  return pcmBytes.buffer;
}

// 修改stopRecording中的处理逻辑
mediaRecorder.onstop = async () => {
  const audioBlob = new Blob(audioChunks, { type: 'audio/webm' });
  const pcmBuffer = await blobToPCM(audioBlob);
  // 转换为Base64
  const base64 = btoa(String.fromCharCode(...new Uint8Array(pcmBuffer)));
  const result = await invoke('process_audio', { audioData: base64 });
};

路径2：后端解码WebM为PCM #

如果不想修改前端逻辑，后端可以使用音频解码库（如symphonia）直接解码WebM字节流为PCM样本：

use symphonia::core::{
    audio::SampleBuffer,
    codecs::{Decoder, DecoderOptions},
    formats::{FormatReader, FormatOptions},
    io::MediaSourceStream,
    meta::MetadataOptions,
    probe::Hint,
};

// 新增WebM解码函数
fn decode_webm_to_pcm(webm_bytes: &[u8]) -> Vec<i16> {
    let mss = MediaSourceStream::new(Box::new(std::io::Cursor::new(webm_bytes)), Default::default());
    let hint = Hint::new();
    // 探测WebM格式
    let probed = symphonia::default::get_probe()
        .format(&hint, mss, &FormatOptions::default(), &MetadataOptions::default())
        .unwrap();
    let mut format = probed.format;

    // 获取默认音轨
    let track_id = format.default_track().unwrap().id;
    // 创建解码器
    let mut decoder = symphonia::default::get_codecs()
        .make(&format.tracks()[track_id].codec_params, &DecoderOptions::default())
        .unwrap();

    let mut pcm_samples = Vec::new();
    // 解码所有数据包
    while let Ok(packet) = format.next_packet() {
        if packet.track_id != track_id {
            continue;
        }
        match decoder.decode(&packet) {
            Ok(decoded) => {
                let sample_buffer = SampleBuffer::<i16>::new(decoded.capacity() as u64, decoded.spec());
                let samples = sample_buffer.copy_interleaved_ref(decoded);
                pcm_samples.extend_from_slice(samples);
            }
            Err(_) => continue, // 忽略解码过程中的错误
        }
    }

    // 如果需要，这里可以添加采样率转换为16kHz的逻辑
    pcm_samples
}

// 修改原parse_base64函数
fn parse_base64(base64_str: &str) -> Vec<i16> {
    let decoded_bytes = general_purpose::STANDARD.decode(&base64_str).expect("Failed to decode base64 content");
    // 解码WebM为PCM样本
    decode_webm_to_pcm(&decoded_bytes)
}

额外注意事项 #

• 确保最终传入Whisper的PCM样本是单声道、16kHz采样率，否则仍可能出现识别异常；
• 前端解码时，如果浏览器不支持AudioContext的sampleRate参数，可以在解码后通过重采样库（如resampler.js）转换为16kHz。

内容的提问来源于stack exchange，提问作者itsisaac19