TensorFlow SavedModel加载后GetNext()报FailedPreconditionError问题排查

你遇到的这个FailedPreconditionError本质是加载模型后，你实际初始化的迭代器和模型计算图依赖的迭代器不是同一个，具体来说：

1. 训练时你调用set_datasets()创建了一套dataset、迭代器，并且基于该迭代器的get_next()输出构建了logits等计算节点，这些节点都被保存到了模型文件中。
2. 但在restore静态方法里，你加载完模型后又调用了一次set_datasets()，这会在同一个计算图里重新创建一套全新的dataset和迭代器，而你恢复的logits仍然绑定在训练时创建的旧迭代器上。
3. 后续initialize_iterators初始化的是新创建的迭代器，旧迭代器完全没被初始化，当你运行self.sess.run(self.logits)时，模型会尝试从旧迭代器取数据，自然触发迭代器未初始化的错误。

另外，你的代码里还有几个容易被忽略的小bug，也会加剧问题：

• set_datasets()里的self.iter.get_next漏了括号，应该是self.iter.get_next()，否则你得到的是方法对象而非张量（能训练正常可能是笔误？）
• save()方法调用tf.saved_model.simple_save时没传入inputs和outputs参数，这会导致保存的模型缺少必要的输入输出映射
• infer()里的sess.run没加self.，会引用全局变量而非类实例的会话

步骤1：修正训练时的基础bug #

先把训练阶段的几个小问题修复：

class Model(): 
    def __init__(self): 
        self.graph = tf.Graph() 
        self.sess = tf.Session(graph=self.graph) 
        with self.graph.as_default(): 
            # 修正：原代码写错了变量前缀，应该是self而非model
            self.features_data_ph = tf.placeholder(...) 
            self.labels_data_ph = tf.placeholder(...) 
    def set_datasets(self): 
        with self.graph.as_default(): 
            with tf.variable_scope('datasets'): 
                self.dataset = tf.data.Dataset.from_tensor_slices((self.features_data_ph, self.labels_data_ph)) 
                self.iter = self.dataset.make_initializable_iterator() 
                # 修正：get_next是方法，必须加括号调用
                self.input_tensor, self.labels_tensor = self.iter.get_next() 
    def save(self, path): 
        inputs = {"features_data_ph": self.features_data_ph, "labels_data_ph": self.labels_data_ph} 
        outputs = {"logits": self.logits}  # 修正：原代码的self.model.logits改为self.logits
        # 修正：传入inputs和outputs参数，确保模型保存必要的输入输出映射
        tf.saved_model.simple_save(self.sess, path, inputs=inputs, outputs=outputs) 
    def infer(self, inference_data): 
        self.initialize_iterators(inference_data) 
        # 修正：使用类实例的会话self.sess而非全局变量
        return self.sess.run(self.logits) 

步骤2：修改restore方法，复用原模型的迭代器 #

加载模型时不要重新创建dataset和迭代器，直接从加载的计算图中获取训练时创建的迭代器：

@staticmethod
def restore(path):
    model = Model() 
    # 加载模型到model的会话和图中
    tf.saved_model.loader.load(model.sess, [tf.saved_model.tag_constants.SERVING], path) 
    # 获取原模型的占位符、logits
    model.features_data_ph = model.graph.get_tensor_by_name("features_data_ph:0") 
    model.labels_data_ph = model.graph.get_tensor_by_name("labels_data_ph:0") 
    model.logits = model.graph.get_tensor_by_name("model/classifier/dense/BiasAdd:0") 
    # 直接从图中获取训练时创建的迭代器（注意名称要和训练时的变量域一致）
    model.iter = model.graph.get_operation_by_name("datasets/Iterator") 
    # 可选：如果需要用到input_tensor和labels_tensor，也从图中获取
    model.input_tensor = model.graph.get_tensor_by_name("datasets/IteratorGetNext:0")
    model.labels_tensor = model.graph.get_tensor_by_name("datasets/IteratorGetNext:1")
    return model 

步骤3：验证迭代器初始化逻辑 #

initialize_iterators方法的逻辑是对的，但可以加个小检查确保迭代器初始化成功：

def initialize_iterators(self, inference_data): 
    with self.graph.as_default(): 
        feats = inference_data 
        labs = np.zeros((len(feats), self.hp.num_classes)) 
        # 捕获初始化操作的状态，确保成功
        try:
            self.sess.run(self.iter.initializer, feed_dict={self.features_data_ph: feats, self.labels_data_ph: labs}) 
            print('Iterator ready to infer') 
        except Exception as e:
            print(f"Iterator initialization failed: {e}")
            raise

如果你的模型是用于生产环境的推理，更推荐使用tf.data.Dataset的make_one_shot_iterator（不需要手动初始化），或者在保存模型时将输入直接作为占位符，避免迭代器绑定带来的问题——毕竟迭代器的状态是图的一部分，保存和加载时容易出现这种绑定不一致的问题。

内容的提问来源于stack exchange，提问作者ted