TF模型量化为TFLite部署ESP32时EndVector()参数报错如何解决

这个报错的核心原因是代表数据集生成的输入样本格式、维度和模型输入层要求不匹配，或是TensorFlow版本的flatbuffer序列化兼容问题，按以下步骤修改即可解决：

1. 对齐数据集预处理逻辑 #

所有参数和训练阶段必须完全相同，确保通过tf.keras.preprocessing.image_dataset_from_directory()加载数据集的参数和预处理逻辑和模型训练时一致，参考调整后的数据集加载代码：

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    "你的数据集路径",
    image_size=(IMG_HEIGHT, IMG_WIDTH), # 匹配训练时的输入尺寸
    batch_size=1, # 代表数据集单batch即可，无需大batch
    color_mode='rgb', # 匹配模型输入通道数，灰度图就写grayscale
    drop_remainder=True # 避免最后一个batch维度不匹配
)

# 和训练时完全一致的预处理逻辑，比如归一化操作
def preprocess(img, label):
    img = tf.cast(img, tf.float32) / 255.0 # 示例：训练时缩放到0-1，这里必须对应
    return img, label

# 取100-200个样本足够完成量化校准，不需要全量数据集
train_ds = train_ds.map(preprocess, num_parallel_calls=tf.data.AUTOTUNE).take(200)

2. 调整代表数据集生成函数 #

优先将张量转为numpy数组，适配所有TensorFlow版本的转换器要求，标签不需要用到可以直接丢弃：

def representative_dataset():
    for image_batch, _ in train_ds:
        # 转numpy格式避免张量类型兼容问题
        yield [image_batch.numpy()]

3. 版本兼容处理 #

如果修改后仍然报错，建议将TensorFlow版本降级到2.10或2.12，这两个版本对嵌入式设备部署用的INT8全量化支持稳定，没有相关序列化bug。

修改后的完整转换器代码如下：

converter = tf.lite.TFLiteConverter.from_saved_model(MODEL_DIR)

def representative_dataset():
    for image_batch, _ in train_ds:
        yield [image_batch.numpy()]

converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8
converter.inference_output_type = tf.int8
converter.representative_dataset = representative_dataset

model_tflite = converter.convert()
with open('modelwithquant.tflite', "wb") as f:
    f.write(model_tflite)

内容的提问来源于stack exchange，提问作者Pruthvi B.