如何实现Hugging Face数据集与JSON格式的互转？

一、Hugging Face 数据集转 JSON 文件 #

你已掌握的基础转换代码可调整为更规范的写法（注意路径需用字符串包裹）：

from datasets import load_dataset

# 加载指定路径的数据集，指定目标拆分集（如train/validation/test）
ds = load_dataset("./file_path", split="train")        
# 将数据集导出为JSON文件
ds.to_json("dataset.json") 

若需导出其他拆分集，修改split参数即可；如果要导出所有拆分集，可遍历数据集的split名称分别处理。

二、JSON 文件转 Hugging Face 数据集 #

直接用load_dataset函数指定json格式就能加载JSON文件，核心代码如下：

from datasets import load_dataset

# 加载单个JSON文件，指定拆分集为train
ds = load_dataset("json", data_files="dataset.json", split="train")

# 若存在多个拆分的JSON文件（如训练集、验证集分开存储），可传入列表或字典：
# 列表形式（自动合并为一个拆分集）
ds = load_dataset("json", data_files=["train.json", "val.json"], split="train")
# 字典形式（分别对应不同的数据集拆分）
ds = load_dataset("json", data_files={"train": "train.json", "validation": "val.json"})

注意事项 #

• JSON文件支持两种格式：每行一个JSON对象（JSON Lines格式，推荐，加载效率更高），或者包含单个JSON数组的文件。
• 若JSON文件是远程URL，直接传入URL地址即可完成加载。

内容的提问来源于stack exchange，提问作者haju