使用datasets包加载本地数据集时出现Protocol not known ValueError
解决方法
确认当前工作目录是否匹配
在加载数据集前先执行以下代码,查看Notebook当前的工作路径:import os print(os.getcwd())对比该路径和
split_pasta_dataset文件夹的实际存储路径,若不一致,必须使用绝对路径加载数据集。使用绝对路径加载
可以手动指定完整绝对路径,或者用os.path.abspath自动生成:import os from datasets import load_from_disk # 生成绝对路径 dataset_abs_path = os.path.abspath("split_pasta_dataset") dataset = load_from_disk(dataset_abs_path)也可直接写死完整路径,比如Linux/macOS下的
"/home/your_username/your_project/split_pasta_dataset",Windows下的"C:\\your_project\\split_pasta_dataset"。检查数据集文件夹结构
打开split_pasta_dataset文件夹,确认内部包含dataset_info.json文件,以及train、valid、test三个子文件夹,每个子文件夹下有对应的数据集文件。若结构缺失,重新执行保存代码生成数据集。更新datasets库
旧版本的datasets库可能存在路径解析bug,执行命令更新:pip install --upgrade datasets
内容的提问来源于stack exchange,提问作者gidimicc
相关产品推荐
相关产品推荐

