Django集成TensorFlow Lite语音识别：缓冲区错误与输出异常求助

问题1：音频处理触发“buffer size must be a multiple of element size”报错 #

核心原因 #

音频数据的总字节长度与模型要求的采样元素字节数不匹配（比如模型期望每个采样点是2字节的int16，但读取的音频buffer长度不是2的倍数），或是音频读取/转换过程中出现截断、格式不兼容。

修复步骤 #

1. 校验音频读取完整性
   在view.py中读取音频文件时，强制保证buffer长度为采样宽度的整数倍：

   import wave
   import tempfile
   
   def speech_recognition_view(request):
       audio_file = request.FILES.get('audio')
       # 将上传文件写入临时文件避免部分读取问题
       with tempfile.NamedTemporaryFile(suffix='.wav', delete=False) as tmp:
           tmp.write(audio_file.read())
           tmp_path = tmp.name
       
       with wave.open(tmp_path, 'rb') as wf:
           sample_width = wf.getsampwidth()  # 获取每个采样的字节数（如int16对应2）
           num_frames = wf.getnframes()
           buffer = wf.readframes(num_frames)
           
           # 修正buffer长度为采样宽度的倍数
           if len(buffer) % sample_width != 0:
               buffer = buffer[:len(buffer) - (len(buffer) % sample_width)]
           
           # 转换为模型需要的numpy数组
           audio_data = np.frombuffer(buffer, dtype=np.int16 if sample_width == 2 else np.float32)
   

2. 统一前端录音格式
   在record.js中强制设置与模型匹配的音频参数（采样率、声道数、采样宽度）：

   navigator.mediaDevices.getUserMedia({ audio: true })
   .then(stream => {
       const mediaRecorder = new MediaRecorder(stream, {
           mimeType: 'audio/wav',
           audioBitsPerSecond: 16000, // 必须与模型训练时的采样率一致
           channelCount: 1, // 模型一般要求单声道
           sampleRate: 16000
       });
       // 后续录音、上传逻辑...
   });
   

问题2：模型输出整数而非浮点概率值 #

核心原因 #

模型被量化（int8/uint8量化）导致输出为整数，或是代码中误对输出做了argmax取索引、强制转整操作，或是模型输出层未使用softmax激活。

修复步骤 #

1. 量化模型输出转浮点概率
   如果使用的是量化后的TFLite模型，需将输出整数通过缩放因子转换为浮点值：

   import tensorflow as tf
   import numpy as np
   
   interpreter = tf.lite.Interpreter(model_path='your_model.tflite')
   interpreter.allocate_tensors()
   input_details = interpreter.get_input_details()
   output_details = interpreter.get_output_details()
   
   # 运行推理
   interpreter.set_tensor(input_details[0]['index'], audio_data.reshape(input_details[0]['shape']))
   interpreter.invoke()
   output_data = interpreter.get_tensor(output_details[0]['index'])
   
   # 量化模型转换为浮点概率
   scale, zero_point = output_details[0]['quantization']
   if scale != 0:
       output_prob = scale * (output_data - zero_point)
   else:
       output_prob = output_data.astype(np.float32)
   

2. 移除输出的取整/索引操作
   检查view.py中是否存在误处理逻辑，比如：

   # 错误示例：取最大值索引导致输出整数
   # result = np.argmax(output_prob, axis=1)
   
   # 正确处理：保留原始softmax浮点输出
   result = output_prob.flatten().tolist()
   

3. 重新转换模型时禁用量化
   如果不需要量化优化，转换模型时保留浮点输出：

   converter = tf.lite.TFLiteConverter.from_keras_model(your_keras_model)
   converter.optimizations = []  # 禁用默认量化优化
   tflite_model = converter.convert()
   with open('float_model.tflite', 'wb') as f:
       f.write(tflite_model)
   

内容的提问来源于stack exchange，提问作者user25393081