如何在下载HuggingFace数据集前查看其大小？

以下是几种实用方法：

• 直接查看数据集页面信息
  打开目标数据集的HuggingFace页面，在「Dataset Card」或「Files and versions」板块里，能找到各个子集（比如你要的en版本）的压缩包大小、解压后大小等详细信息。

• 用HuggingFace Hub API查询
  通过huggingface_hub库的API可以直接获取数据集的文件信息，无需实际下载。示例代码：

  from huggingface_hub import HfApi
  
  api = HfApi()
  repo_info = api.dataset_info("uonlp/CulturaX")
  # 筛选对应子集的文件并打印大小
  for file in repo_info.siblings:
      if "en" in file.rfilename:
          print(f"文件: {file.rfilename}, 大小: {file.size/1024/1024:.2f} MB")
  

• 用datasets库的模拟下载功能
  调用load_dataset时添加download_mode="dry_run"参数，会模拟下载流程，输出需要下载的文件大小，不会真正下载数据。示例代码：

  from datasets import load_dataset
  
  ds = load_dataset("uonlp/CulturaX", "en", download_mode="dry_run")
  

  运行后日志里会显示每个待下载文件的大小，以及总大小。

内容的提问来源于stack exchange，提问作者Franck Dernoncourt