Edge TPU的TFLite模型如何批量输入？Coral Board小目标检测咨询

我来帮你解决这两个Coral Edge TPU小目标检测的问题，这也是嵌入式部署开发者常碰到的痛点：

Edge TPU默认支持单张图像输入，但处理滑动窗口的小样本有两种可行方案：

• 方案1：循环单张推断（最易实现）
  这是无需修改模型的直接方案：

  1. 把每个滑动窗口切割出的小图像，严格按照训练时的预处理流程处理（比如resize到模型要求的输入尺寸、归一化、通道格式转换等）；
  2. 逐个将预处理后的小图像喂给Edge TPU执行推断；
  3. 得到小图像的检测结果后，记得把检测框坐标映射回原始大图像（加上滑动窗口的x、y偏移量）；
  4. 最后对所有映射后的检测结果做非极大值抑制（NMS），去除重复框。

• 方案2：修改模型支持批量输入（提升效率）
  若想减少推断 overhead、一次性输入多个小样本，可以调整模型输入批量后重新编译：

  1. 将模型原本的输入shape从[1, h, w, c]修改为[N, h, w, c]（N是你想要的批量大小，比如8、16）；
  2. 将调整后的模型转换为Edge TPU兼容的TFLite格式；
  3. 用edgetpu_compiler重新编译这个批量版TFLite模型；
  4. 部署时把N个预处理好的小样本打包成批量张量输入模型，得到结果后再做坐标映射和NMS。

完全可以修改，分两种场景操作：

• 场景1：导出时直接指定批量大小
  如果你用TensorFlow 2.x的Object Detection API，可通过export_tflite_graph_tf2.py脚本导出时指定批量：

  python export_tflite_graph_tf2.py \
    --pipeline_config_path=path/to/your/pipeline.config \
    --trained_checkpoint_dir=path/to/checkpoints \
    --output_directory=path/to/output \
    --batch_size=8  # 这里设置目标批量大小
  

  导出的SavedModel会保留指定的批量输入shape，后续转TFLite时直接沿用即可。

• 场景2：修改已导出的单批次TFLite模型
  如果已有单批次TFLite模型，也能通过TensorFlow API调整：

  1. 加载模型并获取输入输出信息：

     import tensorflow as tf
     
     interpreter = tf.lite.Interpreter(model_path="single_batch_model.tflite")
     input_details = interpreter.get_input_details()
     output_details = interpreter.get_output_details()
     

  2. 修改输入shape为动态批量（支持任意数量）或固定批量：

     # 动态批量：允许输入任意数量的图像
     new_input_shape = [None] + input_details[0]['shape'][1:]
     interpreter.resize_tensor_input(input_details[0]['index'], new_input_shape)
     # 固定批量：比如设置为8
     # new_input_shape = [8] + input_details[0]['shape'][1:]
     # interpreter.resize_tensor_input(input_details[0]['index'], new_input_shape)
     

  3. 重新分配张量并保存修改后的模型：

     interpreter.allocate_tensors()
     with open("batch_model.tflite", "wb") as f:
         f.write(interpreter.tensor(input_details[0]['index'])().tobytes())
     

  注意：动态批量模型在Edge TPU上推断时，输入批量可灵活变化，但部分模型层（如固定维度的全连接层）可能不兼容动态批量，此时用固定批量更稳妥。

最后提醒：无论哪种方式修改批量，都要确保编译后的Edge TPU模型输入shape和实际输入张量完全匹配，否则会出现推断错误。

内容的提问来源于stack exchange，提问作者dtlam26