如何将字典列表转换为Huggingface Dataset对象？

其实Huggingface的Dataset类支持直接从字典列表转换，使用Dataset.from_list()方法即可，步骤如下：

• 确保已安装datasets库，未安装则执行：

  pip install datasets
  

• 导入Dataset类：

  from datasets import Dataset
  

• 直接转换字典列表：

  hf_dataset = Dataset.from_list(train_dataset)
  

• 验证转换结果：

  print(type(hf_dataset))
  # 输出: <class 'datasets.arrow_dataset.Dataset'>
  print(hf_dataset[0])
  # 输出与原字典列表的第一个元素一致
  

另外，也可以通过先转成pandas DataFrame的方式间接转换，不过from_list()更直接：

import pandas as pd
df = pd.DataFrame(train_dataset)
hf_dataset = Dataset.from_pandas(df)

内容的提问来源于stack exchange，提问作者Penguin