如何将自定义Hugging Face数据集保存到本地文件夹并复用？

保存数据集到本地 #

你的DatasetDict可以直接用内置的save_to_disk()方法保存到本地文件夹，这个方法会自动处理所有特征（包括图像数据）的序列化：

# 假设你的DatasetDict变量名为dataset_dict
dataset_dict.save_to_disk("./my_custom_hf_dataset")

执行后，指定的文件夹里会生成数据集的结构文件、特征定义以及序列化后的数据（图像会被妥善存储，无需额外处理）。

在其他Notebook中加载复用 #

需要加载时，使用load_from_disk()方法读取本地文件夹即可：

from datasets import load_from_disk

# 加载保存的数据集
loaded_dataset_dict = load_from_disk("./my_custom_hf_dataset")

# 验证加载结果
print(loaded_dataset_dict)

加载后的loaded_dataset_dict和你最初创建的数据集结构完全一致，可以直接用于后续的训练、推理等操作。

内容的提问来源于stack exchange，提问作者Yana