修改Hugging Face Wikitext-2-v1数据集字典值无效，如何解决？

问题场景 #

有开发者尝试移除Wikitext-2-v1数据集每条数据中的标点符号，但执行代码后数据完全没有变化。原代码如下：

%pip install datasets
from datasets import list_datasets, load_dataset, list_metrics, load_metric
dataset = load_dataset('wikitext', 'wikitext-2-v1', split =['train','validation','test'])

for i in range(len(dataset[0])):
   for k,v in dataset[0][i].items():
       v = v.translate(str.maketrans('', '', string.punctuation))
   dataset[0][i]['text'] = v

• 示例输入：{'text': ' = Valkyria Chronicles III = \n'}
• 期望输出：{'text': ' Valkyria Chronicles III'}
• 实际输出：与输入完全一致

问题原因 #

1. 缺少string模块导入：代码中使用了string.punctuation但未导入string模块，这会导致运行报错（若环境未提前导入），也是功能失效的潜在原因。
2. 局部变量修改未同步到原数据：循环内的v = v.translate(...)仅修改了局部变量，并未更新原字典的对应键值；最后赋值的v是循环最后一个键的处理结果，不一定对应text字段。
3. Dataset对象不可变：Hugging Face的Dataset是不可变对象，直接通过索引修改元素不会生效，必须使用官方提供的方法或转换为可变结构处理。

修正方案 #

方法一：使用map方法（推荐，适合大数据集）

map是Hugging Face数据集的标准处理方式，支持并行处理，效率更高：

%pip install datasets
from datasets import load_dataset
import string

# 加载数据集
dataset = load_dataset('wikitext', 'wikitext-2-v1', split=['train','validation','test'])

# 定义单条数据的处理函数
def remove_punctuation(example):
    # 移除标点并去除首尾空白字符（按需保留可去掉.strip()）
    example['text'] = example['text'].translate(str.maketrans('', '', string.punctuation)).strip()
    return example

# 对每个数据集分割应用处理逻辑
processed_dataset = [ds.map(remove_punctuation) for ds in dataset]

# 验证处理结果
print(processed_dataset[0][0])

方法二：转换为列表修改（适合小数据集）

将Dataset转换为列表（可变结构）后直接修改，逻辑更直观：

%pip install datasets
from datasets import load_dataset, Dataset
import string

dataset = load_dataset('wikitext', 'wikitext-2-v1', split=['train','validation','test'])

# 转换为可变列表
train_data = list(dataset[0])
for item in train_data:
    item['text'] = item['text'].translate(str.maketrans('', '', string.punctuation)).strip()

# 可选：转回Dataset对象
processed_train_dataset = Dataset.from_list(train_data)
print(processed_train_dataset[0])

验证效果 #

处理后，示例输入{'text': ' = Valkyria Chronicles III = \n'}会被转换为符合预期的无标点格式，满足需求。

内容的提问来源于stack exchange，提问作者Qqqq