TensorFlow2 Keras模型是否兼容Edge TPU？如何转换适配运行？

1. TensorFlow 2是否不支持frozen graphs？ #

该说法部分属实。TensorFlow 2默认采用动态图机制和SavedModel作为标准模型格式，官方已经废弃了基于静态会话的传统frozen graph生成流程，不再推荐该用法，但仍保留了兼容接口可生成frozen graph。不过对于Edge TPU转换场景，完全不需要走frozen graph这条过时路径，你遇到的张量大小报错很大概率和绕路使用frozen graph有关。

2. 正确的Keras转Edge TPU可用格式流程 #

按以下步骤操作即可避开frozen graph的问题，同时解决张量大小不恒定报错：

• 第一步：提前修正模型动态维度
  张量大小不恒定的报错90%来源于模型内存在动态shape的设计，需要先全部修改为固定值：输入层明确指定固定尺寸（比如input_shape=(224,224,3)，不要留None作为任意维度），所有涉及张量维度计算的逻辑替换为静态常量，移除动态resize、动态维度切片这类操作。
• 第二步：导出原生SavedModel格式
  训练完成的Keras模型直接用model.save("saved_model_dir")导出为TF2原生支持的SavedModel格式，无需转pb格式的frozen graph。
• 第三步：执行全整数量化（Edge TPU强制要求）
  Edge TPU仅支持全算子、输入输出均为int8量化的TFLite模型，转换代码参考：

  import numpy as np
  import tensorflow as tf
  
  # 定义校准用代表数据集，样本数量建议100-500个，和实际推理输入分布一致
  def representative_data_gen():
    for _ in range(100):
      # 输入shape和模型输入层的固定shape完全一致
      input_data = np.random.rand(1, 224, 224, 3).astype(np.float32)
      yield [input_data]
  
  converter = tf.lite.TFLiteConverter.from_saved_model("saved_model_dir")
  converter.optimizations = [tf.lite.Optimize.DEFAULT]
  converter.representative_dataset = representative_data_gen
  # 强制所有算子、输入输出均为int8类型
  converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
  converter.inference_input_type = tf.int8
  converter.inference_output_type = tf.int8
  
  tflite_quant_model = converter.convert()
  # 保存量化后的TFLite模型
  with open("quant_model.tflite", "wb") as f:
    f.write(tflite_quant_model)
  

• 第四步：编译为Edge TPU可用模型
  直接用Edge TPU编译器处理上述生成的量化模型即可：edgetpu_compiler quant_model.tflite，编译成功后会生成后缀为_edgetpu.tflite的可执行文件。

3. TPU兼容模型编写注意要点 #

• 所有张量维度必须固定，禁止使用动态shape、动态分支逻辑
• 仅使用Edge TPU已适配的标准算子，不要添加自定义算子
• 卷积、全连接层的通道数尽量设置为16的倍数，可最大化TPU运算效率
• 量化阶段必须完成全整数量化，不可保留float类型的算子或输入输出节点

内容的提问来源于stack exchange，提问作者kotseman