如何从Hugging Face DatasetDict中删除A-F特征列？

你可以利用Hugging Face Dataset的remove_columns方法快速删除不需要的特征列，有两种简洁的实现方式：

• 方式一：逐个处理每个数据集子集

# 假设你的DatasetDict变量名为dataset_dict
dataset_dict['train'] = dataset_dict['train'].remove_columns(['A', 'B', 'C', 'D', 'E', 'F'])
dataset_dict['test'] = dataset_dict['test'].remove_columns(['A', 'B', 'C', 'D', 'E', 'F'])
dataset_dict['val'] = dataset_dict['val'].remove_columns(['A', 'B', 'C', 'D', 'E', 'F'])

• 方式二：用map方法批量处理所有子集（更高效）

# 一次性删除所有子集中的A-F列
dataset_dict = dataset_dict.map(lambda x: x, remove_columns=['A', 'B', 'C', 'D', 'E', 'F'])

执行上述代码后，你的DatasetDict中的train、test、val数据集就只会保留text、__index_level_0__和label三个特征列。

内容的提问来源于stack exchange，提问作者foy