TFLite多分类语音识别模型仅输出单一类别问题求助

针对你遇到的TFLite模型仅输出单一类别的问题，结合代码分析，以下是具体的排查方向和修复方案：

1. 先确认输出分布，排查阈值问题 #

首先开启debug_acc = 1，查看完整的output_data输出。如果发现模型对所有输入的输出都只有某一类概率极高，其他类接近0，说明问题出在输入或模型转换；如果其他类有正常概率但低于word_threshold = 0.95，则是阈值设置过高，建议调低至0.5~0.7尝试。

2. 对齐训练与推理的输入特征处理 #

核心问题：MFCC特征维度与拼接逻辑 #

训练时的特征处理必须和推理完全一致，当前代码的滑动窗口拼接逻辑可能存在问题：

• 初始mfccs_old = np.zeros((32, 25))是全零张量，第一次推理时拼接后得到的(32,50)特征有一半是无效零值，可能导致模型偏向输出固定类别。
• 检查训练时是否采用了相同的滑动窗口拼接方式，如果训练时是用单段音频的完整MFCC特征（而非拼接前后两段），则当前拼接逻辑完全错误。

修改方案：
如果训练时用的是单段0.5秒音频的MFCC特征，删除拼接逻辑，直接使用当前提取的特征：

# 删除全局变量mfccs_old的初始化
# mfccs_old = np.zeros((32, 25))

def sd_callback(rec, frames, time, status):
    # ... 省略错误处理与MFCC计算 ...
    mfccs_delta = np.append(mfccs, delta, axis=1)
    mfccs = mfccs_delta.transpose()  # 直接使用当前特征，无需拼接旧数据
    # 调整输入形状匹配训练时的要求，比如训练时输入是(1, 32, 25, 1)
    in_tensor = np.float32(mfccs.reshape(1, mfccs.shape[0], mfccs.shape[1], 1))
    # ... 后续推理代码 ...

如果训练时确实需要滑动窗口拼接，修正初始化逻辑，避免首次推理用零值填充：

mfccs_old = None  # 初始化为None

def sd_callback(rec, frames, time, status):
    global mfccs_old
    # ... 省略MFCC计算 ...
    mfccs_new = mfccs_delta.transpose()
    if mfccs_old is None:
        mfccs_old = mfccs_new
        return  # 第一次仅缓存特征，不推理
    mfccs = np.append(mfccs_old, mfccs_new, axis=1)
    mfccs_old = mfccs_new
    # ... 后续推理代码 ...

3. 验证输入形状与数据类型匹配 #

打印input_details后，确认以下两点：

• 输入形状是否与训练时完全一致：比如训练时模型输入是(None, 32, 50, 1)，则推理时的(1,32,50,1)是正确的；如果训练时是(None,50,32,1)，则需要调整特征的转置逻辑。
• 输入数据类型是否匹配：如果input_details[0]['dtype']是np.int8（量化模型），则需要将输入数据转换为对应类型，并应用量化参数：

input_scale, input_zero_point = input_details[0]['quantization']
in_tensor = np.int8((mfccs.reshape(...) / input_scale) + input_zero_point)

4. 简化输出解析逻辑 #

当前代码的输出解析可以简化，避免索引错误：

output_data = interpreter.get_tensor(output_details[0]['index'])
prediction = np.argmax(output_data[0])  # 直接取第一个batch的最大概率类别索引
max_prob = output_data[0][prediction]
if max_prob > word_threshold:
    print(f"预测类别索引: {prediction}, 置信度: {max_prob}")

5. 验证模型转换正确性 #

用同一组固定特征分别在H5模型和TFLite模型上推理，对比输出结果：

• 如果结果差异大，说明转换过程有问题，比如转换时未保留Softmax层，或量化导致精度损失，建议重新转换模型时添加以下参数：

converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
# 若使用量化，需提供代表性数据集
# converter.representative_dataset = representative_dataset
tflite_model = converter.convert()

内容的提问来源于stack exchange，提问作者Purulence