微调T5生成MongoDB查询时<unk>替代大括号问题求助

我是机器学习及Transformer领域的新手，若问题表述浅显还请见谅。我正在微调T5模型以实现MongoDB查询生成任务，但遇到了不符合预期的异常输出。

代码片段 #

inputs = tokenizer(inputs, max_length=max_input_length, truncation=True, return_tensors="pt")

output = model.generate(**inputs, num_beams=8, do_sample=True, min_length=10, max_length=64)

decoded_output = tokenizer.batch_decode(output, skip_special_tokens=False)[0]

print(decoded_output)

predicted_Query = nltk.sent_tokenize(decoded_output.strip())[0]

print(predicted_Query)

输出结果 #

<pad> db.movies.find(<unk>"title": "The Poor Little Rich Girl"<unk>, <unk>"writers": 1<unk>)</s>

<pad> db.movies.find(<unk>"title": "The Poor Little Rich Girl"<unk>, <unk>"writers": 1<unk>)</s>

查询内容大体正确，但<unk>本应是大括号，推测属于OOV（未登录词）情况。用于微调的数据集输出中包含大括号，因此对测试时模型无法识别该符号感到困惑。我已测试确认分词器可处理大括号，但仍不清楚问题所在，希望得到排查方向的指导，若能直接解答更佳。

排查方向及解决方案 #

• 检查微调数据集预处理：确认数据集里的大括号未被误过滤或替换，比如数据清洗脚本是否意外修改了{}符号，标注格式是否正确。
• 对齐分词器配置：确保微调与测试阶段使用的是同一个分词器实例，所有参数（如add_special_tokens、lowercase）完全一致。即使分词器单独能处理大括号，若微调时模型没学到对应token的生成逻辑，测试时仍会输出。
• 验证词汇表与训练token统计：查看分词器词汇表，确认{和}是否存在；同时检查训练日志，看该符号在训练数据中的出现频率，如果频率过低，模型无法有效学习生成模式。
• 调整生成参数：num_beams=8与do_sample=True同时使用可能导致生成不稳定，建议先关闭采样（do_sample=False），仅用beam search尝试生成；若使用采样，可降低temperature减少随机性。
• 数据增强补充样本：如果训练数据中大括号相关样本不足，可通过复制现有样本、构造更多MongoDB查询格式样本的方式，提升该符号的出现频率，帮助模型学习生成逻辑。

内容的提问来源于stack exchange，提问作者zaki Miho