提升speech-to-text识别准确率、自定义适配及替代服务选型咨询

1. 提升Speech-to-Text识别准确率的方法 #

• 优先优化音频输入质量：尽量采集信噪比≥20dB的音频，避免背景杂音、混响、回声，输出采样率设为16kHz以上的单声道格式，符合绝大多数ASR模型的最优输入标准
• 调用API时添加场景适配参数：通过speechContexts参数传入自有样本里的高频专有词汇、短语，权重设置为5~10可大幅提升特定词汇的识别准确率，同时明确指定languageCode参数，不要使用自动语言检测，存在口音/方言场景可额外补充alternativeLanguageCodes参数
• 选用匹配场景的预训练模型：Google Cloud针对电话通话、视频、医疗等不同场景提供了专项预训练模型，调用时指定model参数为对应场景的模型，准确率比通用模型高30%~50%

2. 针对个人声音/特定短语的模型适配方案 #

• 仅需要适配特定短语的话无需全量微调模型，直接使用上文提到的speechContexts自定义短语功能，最多支持配置500个短语/词汇，完全可以覆盖小范围定制需求
• 适配个人声线可使用Google Cloud的自定义模型微调功能：准备至少30分钟以上的本人标注音频数据（音频文件+对应准确文本转录内容），在控制台上传数据集后启动微调训练，生成的专属声线模型对个人声音的识别准确率会有明显提升
• 如果不想依赖云服务的微调能力，也可以在本地基于Wav2Vec2、Conformer等开源ASR模型，使用自有音频数据做低秩适配（LoRA）微调，仅需要调整模型1%左右的参数，训练成本很低，也能达到不错的适配效果

3. 其他同类ASR服务选项 #

• 国内云服务：阿里云智能语音交互、腾讯云语音识别、百度智能云语音技术，对中文的识别效果普遍优于Google Cloud，也全部支持自定义短语、专属模型微调功能
• 海外云服务：Amazon Transcribe、Azure AI Speech、IBM Watson Speech to Text，能力和Google Cloud基本持平，部分地区的访问时延更低，支持多语言、小语种、方言识别
• 开源可本地部署方案：OpenAI Whisper、Meta Wav2Vec2、PaddleSpeech、Kaldi，适合有定制化需求、不想使用公有云服务的场景，本地部署后可自主进行全量微调适配

内容的提问来源于stack exchange，提问作者Sun Tzun