基于RouteNet构建GNN遇训练问题求助：input_fn输出空张量

1. 先验证单文件数据读取正确性 #

绕过input_fn，直接读取单个TFRecord文件并解析，确认数据能正常提取：

import tensorflow as tf

# 替换为你的数据集文件路径
file_pattern = "/path/to/your/dataset/*.tfrecord"
# 从往届代码中复制正确的特征描述符
feature_spec = {
    'traffic': tf.io.FixedLenFeature([], tf.float32),
    'packets': tf.io.FixedLenFeature([], tf.float32),
    # 补充所有需要的图结构特征，比如节点/边特征
    'node_features': tf.io.FixedLenSequenceFeature([10], tf.float32, allow_missing=True),
    'edge_features': tf.io.FixedLenSequenceFeature([5], tf.float32, allow_missing=True),
}

# 读取单个文件测试
file_paths = tf.data.Dataset.list_files(file_pattern)
for path in file_paths.take(1):
    raw_ds = tf.data.TFRecordDataset(path)
    for raw_record in raw_ds.take(2):
        try:
            example = tf.io.parse_single_example(raw_record, feature_spec)
            print("解析成功的样本：")
            for k, v in example.items():
                print(f"  {k}: 形状={v.shape}, 值={v[:2]}")
        except Exception as e:
            print(f"解析失败：{e}")

• 如果解析报错：说明特征描述符和数据集实际存储的特征不匹配，比如用错了FixedLenFeature/FixedLenSequenceFeature，或者特征维度不对，需要对照往届数据集生成代码修正feature_spec。
• 如果解析出空值：说明数据集文件本身未正确写入数据，需重新生成数据集。

2. 排查input_fn的逻辑问题 #

直接调用input_fn并查看输出：

from your_module import input_fn  # 替换为你的input_fn所在模块

# 获取数据集对象
train_ds = input_fn(mode='train')
# 尝试获取一个batch
try:
    batch = next(iter(train_ds))
    print("Input_fn返回的batch：")
    for k, v in batch.items():
        print(f"  {k}: 形状={v.shape},  dtype={v.dtype}")
except StopIteration:
    print("Input_fn返回空数据集！")

如果返回空数据集，检查以下环节：

• 是否存在错误的过滤操作（比如filter(lambda x: x['traffic'] < 0)这类不合理条件）
• shuffle/batch参数是否合理，比如batch_size大于数据集总样本数
• 是否忘记调用repeat()，导致数据集仅迭代一次就耗尽
• read_dataset中的解析函数是否在处理时丢弃了所有样本

3. 匹配RouteNet的输入格式要求 #

RouteNet作为图神经网络，需要图结构数据而非单个标量特征，你给出的shape=(None,) TensorSpec明显不符合要求，需确认：

• 往届代码数据集是否包含图结构特征（节点特征矩阵、边特征矩阵、邻接表/邻接矩阵）
• input_fn是否正确组装特征格式：
  • 节点特征：形状应为(batch_size, num_nodes, node_feat_dim)
  • 边特征：形状应为(batch_size, num_edges, edge_feat_dim)
  • 邻接关系：通常是(batch_size, num_edges, 2)的边列表（源节点、目标节点）
• 核对模型输入层定义，确保input_fn返回的特征形状、dtype完全匹配，比如模型输入层：

  node_input = tf.keras.layers.Input(shape=(None, 10), name='node_features')
  edge_input = tf.keras.layers.Input(shape=(None, 5), name='edge_features')
  

  则input_fn返回的node_features必须是(None, None, 10)形状的张量。

4. 适配TensorFlow版本差异 #

往届代码可能基于旧版TF（如TF1.x），如果你的环境是新版TF，需做以下适配：

• 若使用tf.estimator的input_fn，切换为Keras兼容格式（返回(输入字典, 标签)的元组）
• 替换旧版API：比如将tf.data.Dataset.make_one_shot_iterator()改为直接迭代数据集，移除tf.compat.v1.Session()相关代码

内容的提问来源于stack exchange，提问作者AlenaCh