使用TFLite做批量推理时resize_tensor_input触发reshape错误如何解决

你的报错核心是模型中编号为6的RESHAPE算子的输入输出元素总量不匹配：你调整后的输入张量总元素为1*1000*100=100000，但该RESHAPE层是按单样本推理场景硬编码的输出总元素量为100，因此触发校验失败。
这个问题本质是你训练/转换TFLite模型时没有配置动态batch维度，模型内部的Reshape层写死了固定输出尺寸，仅支持单样本输入。

分两种场景处理：

场景1：你可以重新训练/转换原始模型 #

这是最优解，操作如下：

• 修改原始模型中的Reshape层逻辑，不要硬编码固定batch维度的数值，改用动态维度占位。比如原来的Reshape写法如果是tf.reshape(x, [1, 100])，修改为tf.reshape(x, [-1, 100])，-1会自动根据输入的总元素量推导对应维度的数值，适配不同batch size
• 重新转换为TFLite模型时，指定输入的batch维度为动态：

  # 转换时指定输入shape，batch维度设为None表示动态
  input_shape = tf.TensorSpec([None, 100], dtype=tf.float32)
  converter = tf.lite.TFLiteConverter.from_keras_model(model)
  converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS]
  converter.optimizations = [tf.lite.Optimize.DEFAULT]
  tflite_model = converter.convert()
  

• 转换完成后再调整输入尺寸，直接将batch维度设为1000即可：

  # 注意输入shape第一维为batch数，按你的原始输入维度调整，比如原来单样本是(1,100)，1000样本就是(1000,100)
  interpreter.resize_tensor_input(input_details[0]['index'], [1000, 100], strict=False)
  interpreter.allocate_tensors()
  

调整完成后再传入对应shape的输入数据执行推理即可。

场景2：你无法修改原始TFLite模型 #

有两种临时解决方案：

• 方案A：循环执行单样本推理，每次传入1个样本，循环1000次得到所有结果，缺点是推理效率较低
• 方案B：如果你的输入尺寸逻辑确实是[1, 1000, 100]，可以手动修改TFLite模型中对应编号的RESHAPE层的输出shape，将输出总元素量改为100000，比如把输出shape调整为[1, 1000, 100]或[1, 100000]，适配输入的总元素数

额外校验点：确认你的输入数据input_data10的shape和你resize后的输入张量shape完全一致，避免额外的尺寸不匹配问题。

内容的提问来源于stack exchange，提问作者Asim S