如何修改TensorFlow 2.2.0 mixed_float16策略Saved模型的dtype适配非混合精度设备
问题描述
我使用tensorflow 2.2.0结合mixed_float16精度策略完成模型训练,模型的训练、评估全流程均运行正常,但当前该模型无法在不支持mixed_float16的设备(例如老旧GPU、纯CPU环境)上开展评估。
加载报错详情
在无GPU的设备上加载该模型时,触发如下错误:
tensorflow.python.framework.errors_impl.InvalidArgumentError: No OpKernel was registered to support Op 'MaxPool3D' used by {{node model/max_pooling3d/MaxPool3D}} with these attrs: [ksize=[1, 2, 2, 2, 1], padding="SAME", T=DT_HALF, data_format="NDHWC", strides=[1, 2, 2, 2, 1]] Registered devices: [CPU] Registered kernels: device='XLA_CPU_JIT'; T in [DT_FLOAT, DT_BFLOAT16, DT_HALF] device='XLA_GPU_JIT'; T in [DT_FLOAT, DT_BFLOAT16, DT_HALF] device='CPU'; T in [DT_FLOAT] device='GPU'; T in [DT_HALF] device='GPU'; T in [DT_FLOAT] [[model/max_pooling3d/MaxPool3D]] [Op:__inference_predict_function_19293]
已尝试的操作及效果
- 加载模型前通过代码局部设置TensorFlow的精度策略为float32,对应实现为:
policy = tensorflow.keras.mixed_precision.experimental.Policy("float32") tensorflow.keras.mixed_precision.experimental.set_policy(policy)
上述操作未改变模型本身固化的数据类型,无法解决加载报错问题。
- 尝试借助
TFLite实现跨设备兼容,由于模型本身按混合精度格式保存,TFLite的优化转换流程无法正常开展。
待解决疑问
- 是否存在方法可以调整已保存模型的数据类型,使其适配无float16算力支持的设备
- 是否可以通过特定方式保存模型,使其在float16不可用时自动切换为float32运行
内容的提问来源于stack exchange,提问作者DGIB
相关产品推荐
相关产品推荐

