如何正确使用tfds.load()加载Cifar-10数据集
解决方案
你运行失败的核心原因是tfds.load()默认返回的数据集元素为字典结构,格式为{'image': 图像张量, 'label': 标签张量},且tf.data.Dataset是惰性加载的数据流,不能直接用普通Python迭代器的zip方法拆分内容。
方案1:加载时直接拆分(推荐)
在调用tfds.load()时添加as_supervised=True参数,可直接返回(图像, 标签)结构的数据集,和keras.datasets的加载逻辑对齐:
import numpy as np import tensorflow as tf import tensorflow_datasets as tfds # 加载时直接得到(图像, 标签)结构的训练集、测试集 train_ds, test_ds = tfds.load( name='cifar10', split=['train', 'test'], as_supervised=True, # 核心参数,自动拆分特征与标签 shuffle_files=True ) # 如果你需要得到和datasets.cifar10.load_data()完全一致的numpy数组格式,执行以下转换 train_images = np.array([img.numpy() for img, label in train_ds]) train_labels = np.array([label.numpy() for img, label in train_ds]).reshape(-1, 1) test_images = np.array([img.numpy() for img, label in test_ds]) test_labels = np.array([label.numpy() for img, label in test_ds]).reshape(-1, 1)
方案2:已加载数据集的手动拆分
如果你已经完成数据集下载、不想重新加载,可通过map方法从字典结构中提取图像和标签:
# 定义提取函数,从字典中拆分图像和标签 def extract_data(item): return item['image'], item['label'] # 对已加载的数据集做转换 train_ds = train_ds.map(extract_data) test_ds = test_ds.map(extract_data) # 后续转numpy数组的操作和方案1完全一致
内容的提问来源于stack exchange,提问作者Lleims
相关产品推荐
相关产品推荐

