使用Hugging Face模型与本地麦克风实现实时语音转文本返回空结果

问题原因 #

• 音频格式不匹配：facebook/wav2vec2-base-960h模型要求输入是**16kHz单声道、float32类型、取值范围[-1, 1]**的音频数据，但你的代码存在两个关键问题：
  1. audio.get_raw_data()返回的是int16类型原始音频（范围-32768~32767），未做归一化处理；
  2. 麦克风默认采样率通常为44.1kHz/48kHz，与模型要求的16kHz不匹配；
• numpy警告是数据格式错误导致的计算异常，本质还是输入不符合模型要求。

修复步骤及代码 #

1. 安装依赖（若未安装） #

需要用于音频重采样的库，这里以librosa为例：

pip install librosa

2. 修改后的完整代码 #

import speech_recognition as sr
from transformers import pipeline
import numpy as np
import librosa

# 初始化模型，明确指定采样率为16kHz
asr_pipeline = pipeline(model="facebook/wav2vec2-base-960h", sampling_rate=16000)

# 获取麦克风音频
r = sr.Recognizer()
with sr.Microphone() as source:
    print("Say something!")
    audio = r.listen(source)
    
    # 步骤1：将int16原始音频转成float32并归一化到[-1, 1]范围
    audio_data = np.frombuffer(audio.get_raw_data(), dtype=np.int16).astype(np.float32) / 32768.0
    
    # 步骤2：将麦克风原始采样率重采样到模型要求的16kHz
    resampled_audio = librosa.resample(audio_data, orig_sr=source.SAMPLE_RATE, target_sr=16000)
    
    # 传入模型执行语音识别
    output = asr_pipeline(resampled_audio)
    print(output)

关键说明 #

• 归一化：int16转float32后除以32768.0，将数值压缩到模型期望的[-1, 1]区间；
• 重采样：通过librosa将麦克风的原始采样率（如44100）转换为16000，匹配模型输入标准；
• 模型初始化时指定sampling_rate=16000，避免pipeline自动检测采样率时出现偏差。

关于权重警告的说明 #

Some weights of Wav2Vec2ForCTC were not initialized警告无需处理，masked_spec_embed是预训练阶段专用参数，在语音转文本的下游任务中不会被调用，不影响推理效果。

内容的提问来源于stack exchange，提问作者Saivenkataraju