使用tfds.load加载tf_flowers数据集报Unrecognized instruction format错误如何解决

问题原因 #

• 第一行代码存在语法错误：split参数后遗漏了赋值符号=，导致参数传递异常
• 对tfds.load的返回值理解错误：传入split规则列表调用tfds.load后，返回的直接是对应拆分的tf.data.Dataset数据集对象，不是拆分规则字符串，后续将数据集对象作为split参数二次传入tfds.load，不符合参数类型要求，触发报错
• 拆分规则逻辑错误：原代码三个拆分均从train数据集起始位置截取，会出现严重的数据重叠，训练、验证、测试集数据重复，无法正常用于模型训练

解决方案 #

直接一次调用加载三个无重叠的拆分数据集，代码如下：

import tensorflow_datasets as tfds

# 拆分规则：前10%为测试集，中间15%为验证集，后75%为训练集，无数据重叠
test_set, valid_set, train_set = tfds.load(
    name="tf_flowers",
    split=["train[:10%]", "train[10%:25%]", "train[25%:]"],
    as_supervised=True
)

定位思路 #

• 优先看报错提示：报错信息明确说明传入split的是PrefetchDataset类型的对象，不符合预期的指令格式，直接定位到split参数传值类型错误
• 核对API定义：确认tfds.load的split参数接收字符串类型的拆分规则，返回对应数据集，不需要二次调用加载
• 检查拆分规则合理性：确认各拆分区间无重叠，总占比为100%

内容的提问来源于stack exchange，提问作者Alec m