使用tf.estimator与tf.data时出现End of Sequence Error求助

这个错误的核心原因是你的输入函数不符合tf.estimator的要求，导致评估阶段迭代器无法正确重置，当数据集遍历完成后就会抛出序列结束的错误。

问题出在哪？ #

你的data_fn直接返回了iterator.get_next()的结果——相当于在计算图中创建了一个一次性迭代器节点。当第一次评估遍历完整个验证数据集后，这个迭代器已经走到了末尾，后续再执行评估（比如train_and_evaluate会按throttle_secs定期触发评估）时，就会触发OutOfRangeError。

另外，tf.estimator的输入函数需要返回以下两种格式之一：

1. 一个tf.data.Dataset对象，其中每个元素是(features, labels)的元组
2. 直接返回(features, labels)元组（特征是张量/字典，标签是张量）

而你的代码返回的是单个张量，这也会让estimator无法正确处理数据迭代逻辑。

修正方案 #

修改data_fn，让它直接返回Dataset对象，把迭代器的管理交给tf.estimator来处理，它会自动为每次评估重新初始化迭代器。

修正后的输入数据函数

def data_fn(data_dict, batch_size, mode, num_epochs=10):
    if mode == tf.estimator.ModeKeys.TRAIN:
        # 假设你的train_data是包含特征和标签的数组，这里拆分它们
        train_data = data_dict['train_data'].astype(np.float32)
        features = train_data[:, :-1]  # 取所有行，除了最后一列作为特征
        labels = train_data[:, -1:]    # 最后一列作为标签
        dataset = tf.data.Dataset.from_tensor_slices((features, labels))
        dataset = dataset.cache()
        dataset = dataset.shuffle(buffer_size=batch_size * 10).repeat(num_epochs).batch(batch_size)
    else:
        valid_data = data_dict['valid_data'].astype(np.float32)
        features = valid_data[:, :-1]
        labels = valid_data[:, -1:]
        dataset = tf.data.Dataset.from_tensor_slices((features, labels))
        dataset = dataset.cache()
        dataset = dataset.batch(batch_size)
    # 直接返回Dataset对象，而不是取出元素
    return dataset

训练函数无需修改（除了确保输入函数返回Dataset）

你的train_model中的输入lambda可以保持不变，因为现在data_fn返回的是符合要求的Dataset：

train_input = lambda: data_fn(data, 100, tf.estimator.ModeKeys.TRAIN, num_epochs=1)
eval_input = lambda: data_fn(data, 1000, tf.estimator.ModeKeys.EVAL)

额外说明 #

• 当EvalSpec中设置steps=None时，estimator会自动遍历整个验证数据集一次，这正是你需要的全数据集评估，不需要设置steps=1。
• 如果你不需要拆分特征和标签（比如你的模型输入是单个张量），可以让Dataset的元素是(single_tensor, None)或者直接返回包含单个张量的Dataset，但要确保和你的model_fn的输入逻辑匹配。

内容的提问来源于stack exchange，提问作者M.Reza