Android如何用AudioRecord替代RandomAccessFile实现DeepSpeech TFLite麦克风STT
适配核心原则
DeepSpeech TFLite 模型的stt()方法对输入的要求,和你之前从WAV文件解析得到的PCM格式完全一致:16kHz采样率、单声道、16bit深度的小端序short数组。用AudioRecord实现麦克风采集时,只要配置参数完全对齐这个格式,就可以直接把采集到的音频数据喂给模型,不需要额外做格式转换。
AudioRecord 必选配置
- 采样率固定设置为
16000,和你原代码中断言的模型采样率要求完全匹配,避免因为采样率不匹配导致识别结果异常。 - 声道选择
AudioFormat.CHANNEL_IN_MONO,对应原代码断言的单声道要求,多声道输入需要额外做降混处理才能适配模型。 - 音频编码格式选择
AudioFormat.ENCODING_PCM_16BIT,对应原代码断言的16bit采样深度要求。 - 缓冲区大小计算:先通过
AudioRecord.getMinBufferSize(16000, AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT)拿到系统允许的最小缓冲值,实际传入AudioRecord构造函数的缓冲大小要至少是这个值的2倍,避免采集过程中因为缓冲不足丢帧。
采集与推理对接实现
- 音频采集操作必须放在后台线程执行,不要在主线程调用
AudioRecord.read(),否则会触发系统ANR。 - 读PCM数据时直接传入short类型的缓冲数组,调用
audioRecord.read(pcmBuffer, 0, pcmBuffer.length)获取采集到的音频数据。这个方法返回的short数组本来就是小端序格式,和你之前读WAV文件时手动转换得到的shorts数组格式完全一致,不需要额外做端序处理。 - 根据业务场景决定推理时机:如果是按住说话的交互逻辑,就从用户按下录音键开始持续累积所有采集到的short值,松开录音键时把整段累积的PCM数组一次性传给
stt()方法;如果是实时流式转写,就按固定长度分片累积PCM数据,满足模型输入长度要求后再调用推理接口。
常见踩坑提醒
- 不要为了追求兼容性使用其他采样率,比如8000Hz、44100Hz,这些采样率下采集的音频和模型训练的输入分布不匹配,识别准确率会大幅下降。
- 不要先把数据读入byte数组再手动转short,直接使用short类型的缓冲读数据,避免手动端序转换引入的格式错误。
- 录音权限必须提前在配置文件中声明,并且在动态申请权限通过后再初始化AudioRecord,否则会出现初始化失败的问题。
参考实现代码片段
// 初始化符合要求的AudioRecord int SAMPLE_RATE = 16000; int CHANNEL_CONFIG = AudioFormat.CHANNEL_IN_MONO; int AUDIO_FORMAT = AudioFormat.ENCODING_PCM_16BIT; int minBufferSize = AudioRecord.getMinBufferSize(SAMPLE_RATE, CHANNEL_CONFIG, AUDIO_FORMAT); int recordBufferSize = Math.max(minBufferSize * 2, SAMPLE_RATE * 2); AudioRecord audioRecord = new AudioRecord( MediaRecorder.AudioSource.MIC, SAMPLE_RATE, CHANNEL_CONFIG, AUDIO_FORMAT, recordBufferSize ); // 后台线程执行采集 new Thread(() -> { short[] readBuffer = new short[recordBufferSize / 2]; List<Short> pcmCollector = new ArrayList<>(); // 开始录音 audioRecord.startRecording(); while (isRecordingActive) { int readLength = audioRecord.read(readBuffer, 0, readBuffer.length); if (readLength > 0) { // 收集有效采集数据 for (int i = 0; i < readLength; i++) { pcmCollector.add(readBuffer[i]); } } } // 停止录音 audioRecord.stop(); // 转换为模型需要的short数组,直接调用推理 short[] finalPcm = new short[pcmCollector.size()]; for (int i = 0; i < pcmCollector.size(); i++) { finalPcm[i] = pcmCollector.get(i); } String result = this._m.stt(finalPcm, finalPcm.length); // 在主线程更新UI显示识别结果 }).start();
内容的提问来源于stack exchange,提问作者ccvvvccccc
相关产品推荐
相关产品推荐

