使用TFRecords与Keras训练模型时遭遇数据形状相关错误求助

嘿，我帮你找到了问题的根源！你遇到的这个形状不匹配错误，核心是TFRecord特征解析的API用错了——你用了处理序列数据的工具来解析单样本固定长度的特征，导致张量形状乱掉了。

问题根源 #

你在_parse_function里用了tf.FixedLenSequenceFeature，但这个API是用来处理变长序列数据的（比如一段文本、时序数据），而你的图像和标签都是单个样本的固定长度张量，完全不需要序列解析。这种错误的解析方式会让TensorFlow把特征当成序列处理，导致后续reshape和模型输入的形状不匹配，触发那个data[0].shape = [3] does not start with indices[0].shape = [2]的错误。

修正方案 #

把FixedLenSequenceFeature替换成tf.FixedLenFeature，这才是处理单样本固定长度特征的正确API，同时可以去掉不需要的default_value和allow_missing参数（只要你的TFRecord写入时格式正确，这些参数没必要）：

def _parse_function(proto):
    # 用FixedLenFeature替代FixedLenSequenceFeature
    f = {
        "x": tf.FixedLenFeature([IMG_SIZE[0] * IMG_SIZE[1]], tf.float32),
        "label": tf.FixedLenFeature([1], tf.int64)
    }
    parsed_features = tf.parse_single_example(proto, f)
    x = tf.reshape(parsed_features['x'] / 255, (IMG_SIZE[0], IMG_SIZE[1], 1))
    y = tf.cast(parsed_features['label'], tf.float32)
    return x, y

额外优化建议 #

如果你的TensorFlow版本比较新，load_dataset里的make_one_shot_iterator()可以换成更简洁的写法：直接返回dataset而不是迭代器，model.fit现在可以直接接收tf.data.Dataset对象，代码更符合TF2.x的推荐用法：

def load_dataset(input_path, batch_size, shuffle_buffer):
    dataset = tf.data.TFRecordDataset(input_path)
    dataset = dataset.shuffle(shuffle_buffer).repeat()
    dataset = dataset.map(_parse_function, num_parallel_calls=16)
    dataset = dataset.batch(batch_size).prefetch(1)
    return dataset  # 直接返回dataset，不用生成迭代器

# 后续调用调整
train_dataset = load_dataset(TRAIN_TFRECORDS, BATCH_SIZE, SHUFFLE_BUFFER)
val_dataset = load_dataset(VALIDATION_TFRECORDS, BATCH_SIZE, SHUFFLE_BUFFER)

model.fit(
    train_dataset,
    epochs=N_EPOCHS,
    steps_per_epoch=N_TRAIN // BATCH_SIZE,
    validation_data=val_dataset,
    validation_steps=N_VALIDATION // BATCH_SIZE
)

最后检查点 #

确保你在写入TFRecord的时候，每个样本的x确实是被序列化成了长度为IMG_SIZE[0]*IMG_SIZE[1]的一维数组，label是长度为1的数组——解析和写入的特征定义必须严格对应，不然还是会出问题。

内容的提问来源于stack exchange，提问作者Gianluca Micchi