如何仅下载HuggingFace数据集的.parquet文件而不生成.arrow文件？

直接在load_dataset中添加download_only=True参数即可，这会让工具只下载原始的.parquet文件到默认的downloads文件夹，不会进行后续预处理和缓存生成.arrow文件。

示例代码：

from datasets import load_dataset
# 仅下载指定子集的.parquet文件，不生成arrow缓存
load_dataset("uonlp/CulturaX", "ar", download_only=True)

如果需要下载整个数据集（所有子集）的.parquet文件，可省略子集参数：

from datasets import load_dataset
load_dataset("uonlp/CulturaX", download_only=True)

补充说明 #

• 下载的.parquet文件默认存储在~/.cache/huggingface/datasets/downloads目录下
• 若要自定义下载路径，可通过cache_dir参数指定：

load_dataset("uonlp/CulturaX", "ar", download_only=True, cache_dir="./my_custom_downloads")

内容的提问来源于stack exchange，提问作者Franck Dernoncourt