如何用CPAL+Rubato将麦克风音频重采样至16kHz适配whisper.cpp？

核心疑问解答：必须分块处理 #

是的，实时音频场景下必须分块处理数据。原因有两点：

1. CPAL的音频输入回调本身就是分块返回数据的（设备硬件会按固定缓冲区大小推送音频帧）；
2. Rubato的重采样器基于重叠相加/插值算法，需要按其要求的块大小处理输入，无法一次性处理无限长度的音频流。

实现步骤与关键细节 #

1. 依赖配置

在Cargo.toml中添加所需依赖：

[dependencies]
cpal = "0.15"
rubato = "0.13"
whisper-rs = "0.13" # 对应whisper.cpp的Rust绑定
anyhow = "1.0" # 简化错误处理
crossbeam-channel = "0.5" # 线程安全传递音频数据到whisper

2. 核心流程

整体流程：

麦克风输入（CPAL）→ 立体声转单声道 → 重采样为16kHz（Rubato）→ 格式转换为i16 → 喂给whisper.cpp

3. 代码实现示例

use cpal::{
    traits::{DeviceTrait, HostTrait, StreamTrait},
    Sample, SampleFormat, StreamConfig,
};
use rubato::{Resampler, SincFixedIn, WindowFunction};
use crossbeam_channel::unbounded;

fn main() -> anyhow::Result<()> {
    // 1. 初始化CPAL音频输入
    let host = cpal::default_host();
    let device = host.default_input_device().ok_or_else(|| anyhow::anyhow!("找不到输入设备"))?;
    let config = device.default_input_config()?.into();

    // 原始音频参数（示例：48kHz立体声）
    let input_sample_rate = config.sample_rate.0 as f64;
    let input_channels = config.channels as usize;
    // 目标参数：16kHz单声道
    let target_sample_rate = 16000.0;
    let target_channels = 1;

    // 2. 初始化Rubato重采样器
    // 使用SincFixedIn（输入固定长度，输出动态）适合实时场景
    let mut resampler = SincFixedIn::<f32>::new(
        input_sample_rate / target_sample_rate,
        2.0, // 过渡带宽，值越小质量越高但计算量越大
        128, // 滤波器长度，越大质量越高
        1024, // 输入块大小，可根据CPAL的缓冲区调整
        WindowFunction::Hann,
    )?;

    // 3. 线程安全通道：传递重采样后的数据到whisper处理线程
    let (sender, receiver) = unbounded::<Vec<i16>>();

    // 启动whisper处理线程
    std::thread::spawn(move || {
        // 初始化whisper.cpp（示例配置）
        let ctx = whisper_rs::WhisperContext::new("path/to/ggml-base.en.bin").unwrap();
        let mut state = ctx.create_state().unwrap();
        let params = whisper_rs::FullParams::default();

        while let Ok(audio_data) = receiver.recv() {
            // 喂音频数据给whisper
            if let Err(e) = state.full(params, &audio_data) {
                eprintln!("Whisper处理错误: {}", e);
            }
            // 处理识别结果...
        }
    });

    // 4. CPAL音频回调处理
    let data_callback = move |data: &[f32], _: &cpal::InputCallbackInfo| {
        // 第一步：立体声转单声道
        let mono_data: Vec<f32> = if input_channels == 2 {
            data.chunks(2)
                .map(|chunk| (chunk[0] + chunk[1]) / 2.0)
                .collect()
        } else {
            data.to_vec()
        };

        // 第二步：分块喂给重采样器
        // 检查当前重采样器需要多少输入帧
        let needed_frames = resampler.input_frames_next();
        if mono_data.len() >= needed_frames {
            // 按需要的帧数量拆分输入
            let input_chunk = &mono_data[0..needed_frames];
            // 执行重采样
            match resampler.process(&[input_chunk], None) {
                Ok(output) => {
                    // 第三步：f32转i16（whisper需要16位有符号整数PCM）
                    let i16_data: Vec<i16> = output[0]
                        .iter()
                        .map(|&sample| Sample::from_sample(sample))
                        .collect();
                    // 发送到whisper线程
                    let _ = sender.send(i16_data);
                }
                Err(e) => eprintln!("重采样错误: {}", e),
            }
        }
    };

    let error_callback = |err| eprintln!("音频设备错误: {}", err);

    // 启动音频流
    let stream = device.build_input_stream(&config, data_callback, error_callback)?;
    stream.play()?;

    // 保持程序运行
    println!("正在录制音频...按任意键退出");
    std::io::stdin().read_line(&mut String::new())?;

    Ok(())
}

最佳实践要点 #

• 缓冲区管理：永远使用Rubato提供的input_frames_next()或output_frames_max()来确定输入/输出块大小，不要手动按采样率比例计算，避免因重采样器的重叠缓冲区导致数据丢失或异常。
• 线程安全：CPAL的回调运行在独立线程，必须用线程安全的通道（如crossbeam-channel）传递数据到whisper处理线程，避免直接在回调中执行识别（whisper计算量大，会阻塞音频流）。
• 数据格式兼容：whisper.cpp要求输入是16kHz单声道16位有符号整数PCM，必须确保重采样后的数据格式完全匹配，否则识别结果会异常。
• 错误处理：捕获CPAL设备错误、重采样错误和whisper处理错误，避免程序直接崩溃，同时可以添加日志便于调试。
• 资源清理：退出时确保音频流停止，whisper上下文正确释放，避免资源泄漏。

内容的提问来源于stack exchange，提问作者anonymous