无法将GCS数据集加载到Colab的TensorFlow笔记本中

问题根源 #

你使用tfds.load(name="MyDataSet_normal")时，name参数默认指向TensorFlow Datasets（TFDS）官方收录的数据集名称，而你的私有数据集不属于官方库，因此程序会在公开数据集列表中查找，导致报错。

正确解决方案 #

方案一：数据集为TFDS标准格式上传 #

如果你的数据集是通过TFDS工具生成（比如用tfds.builder构建后上传到GCS），可以用以下代码加载：

import tensorflow_datasets as tfds

# 指定数据集名称和你的GCS存储路径
builder = tfds.builder("MyDataSet_normal", data_dir="gs://MY_BUCKET_NAME")
# 数据集已上传完成，无需重复下载准备，直接加载拆分数据
ds_train = builder.as_dataset(split="train")
ds_test = builder.as_dataset(split="test")

方案二：数据集为自定义TFRecord文件 #

如果你的数据集是手动上传的TFRecord文件（非TFDS标准格式），直接用TensorFlow原生API加载并自定义解析逻辑：

import tensorflow as tf

# 获取训练集TFRecord文件路径
train_tfrecords = tf.io.gfile.glob("gs://MY_BUCKET_NAME/MyDataSet_normal/train/*.tfrecord")
# 加载数据集
ds_train = tf.data.TFRecordDataset(train_tfrecords)

# 自定义解析函数，根据你的数据特征结构修改
def parse_tfrecord(example_proto):
    # 定义特征描述，匹配你的数据格式
    feature_spec = {
        "image": tf.io.FixedLenFeature([], tf.string),
        "label": tf.io.FixedLenFeature([], tf.int64)
    }
    # 解析单条样本
    parsed_example = tf.io.parse_single_example(example_proto, feature_spec)
    # 处理数据（比如解码图像）
    parsed_example["image"] = tf.image.decode_jpeg(parsed_example["image"], channels=3)
    return parsed_example["image"], parsed_example["label"]

# 应用解析函数到数据集
ds_train = ds_train.map(parse_tfrecord)

关键注意事项 #

• TFDS仅识别符合其格式规范的数据集：数据集文件夹下必须包含dataset_info.json文件，以及对应拆分的TFRecord文件和索引文件（.tfrecord.index）。如果你的数据集是普通文件，需要先转换成TFDS格式再上传。
• 你已通过auth.authenticate_user()完成GCS认证，能列出桶内文件，权限环节无需额外配置。

内容的提问来源于stack exchange，提问作者Guang