如何将tf.train.Example转换为tfds.features以加载外部TFRecord？

一、将tf.train.Example结构转换为tfds.features定义 #

根据你提供的tf.train.Example结构，对应的TFDS特征定义及映射逻辑如下：

• image：存储JPG编码的字节流，使用tfds.features.Image，它会自动解码字节形式的图像数据
• caption：存储字符串的字节形式，使用tfds.features.Text（或tfds.features.String），可自动完成字节到字符串的解码
• height/width：单个int64值（注：你代码里的value=[caption]应为笔误，实际应为value=[height]/value=[width]），使用tfds.features.Scalar指定tf.int64类型

完整特征定义代码：

import tensorflow as tf
import tensorflow_datasets as tfds

feature_spec = tfds.features.FeaturesDict({
    'image': tfds.features.Image(encoding_format='jpeg'),
    'caption': tfds.features.Text(),
    'height': tfds.features.Scalar(dtype=tf.int64),
    'width': tfds.features.Scalar(dtype=tf.int64),
})

生成元数据并加载外部TFRecord #

有了特征定义后，可通过tfds.folder_dataset.write_metadata生成TFDS所需元数据，步骤如下：

1. 创建存储元数据的目录（例如./my_dataset_metadata）
2. 调用write_metadata，传入特征定义与数据集总样本数（可通过采样统计或tf.data提前计算）
3. 使用tfds.load加载数据集，指定TFRecord文件目录与元数据目录

示例代码：

# 生成元数据
tfds.folder_dataset.write_metadata(
    data_dir='./path_to_your_tfrecords',  # TFRecord文件所在目录
    metadata_dir='./my_dataset_metadata',
    feature_spec=feature_spec,
    num_examples=1000,  # 替换为你的数据集实际样本数
)

# 加载数据集
ds = tfds.load(
    'my_dataset',
    data_dir='./path_to_your_tfrecords',
    metadata_dir='./my_dataset_metadata',
    split='train',
)

二、关于tf.data.TFRecordDataset的补充说明 #

直接用tf.data.TFRecordDataset读取时，cache/repeat/shuffle/map/batch等操作完全可以正常执行，这些操作不依赖num_shards/shard_lengths元数据：

• shuffle需指定缓冲大小，若不清楚样本总数，可设置较大的缓冲值
• 分片读取可通过tf.data.Dataset.list_files配合interleave实现
• 样本总数可通过tf.data.experimental.cardinality(ds)估算，或提前统计写入TFRecord时的样本数量

你倾向于TFDS方案是合理的，TFDS会自动管理元数据、提供统一数据集接口、支持拆分训练/验证/测试集等功能，能减少重复开发工作。

已尝试操作 #

已查阅官方文档许久，但未找到答案。tfds.features中有Scalar类，推测可用于解码Int64List，但不知如何解码BytesList。

环境信息 #

• tensorflow-datasets版本：4.8.2
• tensorflow版本：2.11.0

内容的提问来源于stack exchange，提问作者JumpyWarlock