如何从训练文本构建干净的NMT词汇表？乱表问题解析

1. 杂乱的词汇表是否会产生问题？ #

答案是肯定的，这种包含大量特殊字符、低频数字/符号的词汇表会带来不少实际问题：

• 增大模型负担：无用的噪声token会大幅膨胀词汇表规模，让模型嵌入层的参数数量剧增，训练时需要消耗更多计算资源，推理阶段的速度也会被拖慢。
• 干扰语义学习：这类特殊字符、低频数字通常没有稳定的语义信息，模型在训练时很难学到它们的有效表示，反而会分散对核心词汇的学习注意力，最终影响翻译的准确性和流畅度。
• 推理输出不稳定：当推理阶段遇到类似的噪声字符时，模型可能无法正确处理，导致输出混乱或者出现不符合预期的映射结果。

2. 是否需要进一步处理？具体该怎么做？ #

当然需要对词汇表做针对性的清洗和优化，这里提供几个实用的处理方向和改进后的实现代码：

核心处理思路

• 过滤非必要的特殊字符（仅保留翻译场景需要的标点，比如句号、问号、逗号等）
• 过滤低频词（只保留出现次数达到设定阈值的词汇，剔除偶然出现的噪声）
• 添加NMT任务必备的特殊标记token（用于序列对齐、句子起止、未登录词映射）
• 统一文本格式（比如全小写，避免大小写分裂词汇）

改进后的词汇表构建函数

from collections import Counter
import re

def construct_clean_vocab_from_file(file, vocab_file, min_freq=5, keep_punctuations={'.', ',', '?', '!'}):
    # 读取原始文本文件
    with open(file, 'r') as f:
        raw_data = f.read()
    
    # 预处理：统一转为小写，去除首尾多余空格
    raw_data = raw_data.lower().strip()
    # 自定义分词：匹配字母数字或指定标点，过滤其他特殊字符
    tokens = re.findall(r'\w+|[{}]'.format(''.join(keep_punctuations)), raw_data)
    
    # 统计词频，过滤掉出现次数不足的低频词汇
    word_counts = Counter(tokens)
    filtered_words = [word for word, count in word_counts.items() if count >= min_freq]
    
    # 添加NMT任务必备的特殊token
    special_tokens = ['<PAD>', '<START>', '<END>', '<UNK>']
    vocab = special_tokens + sorted(filtered_words)
    
    # 将清洗后的词汇表写入文件
    with open(vocab_file, 'w') as f:
        for w in vocab:
            f.write(w + "\n")

额外优化建议

• 数字统一映射：如果数据集中包含大量数字，可以把所有数字替换为<NUM>这类特殊token，避免每个数字都占用词汇表位置，同时模型也能学会数字的通用翻译逻辑。
• 采用成熟tokenizer：对于欧洲语言这类有较多屈折变化的语种，推荐使用HuggingFace Tokenizers或TensorFlow内置的子词分割（如BPE）方案，能更好地处理低频词和稀有词汇，同时进一步压缩词汇表规模。
• 双语预处理对齐：如果是双语翻译任务，源语言和目标语言的词汇表清洗逻辑要保持一致，避免因两边预处理标准不同导致的翻译偏差。

内容的提问来源于stack exchange，提问作者lifang