调用tf.train.import_meta_graph时出现UnicodeDecodeError问题求助

看起来你在恢复TensorFlow模型时碰到了两个头疼的问题：protobuf过大的警告，还有utf-8解码失败的错误，下面是针对性的解决方案，帮你搞定这些问题：

1. 先搞定Protobuf大小限制的警告 #

这个警告是因为默认的Protobuf C++实现对单条消息大小设了64MB的限制，你的模型meta文件超过了这个阈值。解决起来很简单，切换到Protobuf的Python实现就能绕过这个限制：

• 要么在运行恢复脚本前先设置环境变量：

  export PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=python
  

• 要么直接在Python代码开头加上这两行：

  import os
  os.environ['PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION'] = 'python'
  

2. 修复UnicodeDecodeError的核心问题 #

从你贴的.meta文件前几行内容来看，这个文件是二进制格式的，但错误日志显示TensorFlow居然尝试用utf-8去解码它——这大概率是.meta文件损坏了，或者保存/读取环节出了问题。你可以按下面的步骤排查：

第一步：确认模型保存过程没出问题 #

先回去检查保存模型时的日志，确保self.saver.save()完整执行完毕，没有中途报错或中断，毕竟如果保存过程出问题，生成的.meta文件肯定是残缺的。

第二步：换一种方式读取.meta文件 #

tf.train.import_meta_graph本来应该自动处理二进制的.meta文件，但既然报错了，咱们手动用二进制模式读取后再导入试试：

import tensorflow as tf

meta_file_path = PROJ_DIR + '/logs/default/model.ckpt-54.meta'
# 以二进制模式读取meta文件
with open(meta_file_path, 'rb') as f:
    meta_graph_def = tf.MetaGraphDef()
    meta_graph_def.ParseFromString(f.read())
# 从读取到的meta graph定义创建saver
saver = tf.train.Saver(meta_graph_def=meta_graph_def)
session = tf.Session()
saver.restore(session, PROJ_DIR + '/logs/default/model.ckpt-54')
print('Model restored')

第三步：检查文件完整性 #

用ls -l命令看看你的.meta文件大小是否合理，或者干脆重新保存一次模型，确保生成的是完整的二进制.meta文件——有时候磁盘写入异常也会导致文件损坏。

额外推荐：换成更稳定的SavedModel格式 #

如果你的模型确实比较大，其实更推荐用TensorFlow的SavedModel格式来保存和恢复，这是官方主推的现代格式，兼容性和稳定性都更好，能避免老ckpt格式的这类问题：

# 保存为SavedModel格式（假设你有训练好的model对象）
tf.saved_model.save(model, export_dir='./saved_model')

# 恢复模型
restored_model = tf.saved_model.load('./saved_model')

内容的提问来源于stack exchange，提问作者npCompleteNoob