Google AutoML目标检测手动拆分数据集上传CSV报去重错误及拆分不匹配问题

你遇到的Example is deduped错误是Google AutoML的自动去重机制触发导致的：当系统识别到同一张图片在CSV中存在多条记录时，会自动丢弃重复条目仅保留第一条，就会出现部分标注没被读取、手动指定的拆分集不生效、拆分集数量与预期不匹配的问题。

1 修正CSV重复条目 #

• 排查CSV中所有图片路径，每张图片仅保留唯一一行记录：如果同一张图有多个标注框，需要把所有标注参数合并到同一行的对应列中，不要分开写多条记录
• 单独核对标注为chickennuggets的所有图片路径，确认没有同一张图同时出现在TRAIN、TEST、VALIDATION任意两个拆分集的记录中

2 校验CSV格式规范 #

• 拆分集列的取值必须严格为全大写的TRAIN、TEST、VALIDATION，不能出现拼写错误、前后空格、大小写混合（比如不要写validate、Validation这类不符合规范的取值）
• 确保CSV列顺序完全符合AutoML要求：第一列为图片存储路径，第二列为拆分集标记，后续列为标注参数，不要额外增减列、调换列顺序

3 重新上传数据集 #

• 先清空当前数据集中已经导入的所有图片和标注，避免旧的重复数据干扰
• 上传修正后的CSV文件，导入完成后核对各拆分集的图片数量、标注数量，确认和你手动统计的数值一致即可

内容的提问来源于stack exchange，提问作者R.A