tfds调用show_examples时报ShuffleDataset缺失features属性错误
报错根因
tfds.show_examples方法内部解析样本时,依赖传入的数据集对象挂载的原生tfds专属features属性。
当对tfds.load返回的原始数据集执行.shuffle(1024)操作后,返回的是TensorFlow流水线包装生成的ShuffleDataset对象。所有经过.shuffle()/.map()/.batch()这类流水线转换操作生成的Dataset,都会剥离原始tfds数据集的专属挂载属性,不存在features字段,因此触发AttributeError: 'ShuffleDataset' object has no attribute 'features'报错。
修正方案
调整代码执行顺序,将可视化操作放在所有数据集转换操作之前执行,不要把经过流水线包装的转换后数据集传入可视化接口,操作要点:
- 加载得到原始数据集与元信息后,直接用原始未做任何转换的数据集调用
tfds.show_examples完成样本展示 - 可视化校验完成后,再对原始数据集执行打乱、批处理等训练所需的流水线操作
修正后的可运行代码:
import tensorflow_datasets as tfds ds, ds_info = tfds.load('eurosat/rgb:2.0.0', with_info=True, split='train', data_dir='../input/eurosat', download=False) # 先执行样本可视化,此时传入的是未经过转换的原始数据集 tfds.show_examples(ds, ds_info) # 可视化完成后再执行打乱操作 ds = ds.shuffle(1024)
补充提示
如果需要查看随机抽样的样本效果,不需要提前对全量数据集做shuffle包装,直接通过原始数据集的take方法截取固定数量样本传入可视化接口即可,不会触发属性报错。
内容的提问来源于stack exchange,提问作者mruanova
相关产品推荐
相关产品推荐

