构建文本预测模型时移除稀有词汇对性能的影响探究

移除出现次数少于4次的稀有词汇，对模型性能的影响是双向的，具体取决于业务场景和所用模型类型：

正面影响 #

• 降低模型复杂度：词汇表从5.9万压缩到2万，直接减少了模型嵌入层的参数数量，训练时的计算开销和内存占用会大幅降低，不仅训练速度更快，还能减少因稀有词样本不足带来的过拟合风险——毕竟这类词的出现太随机，模型很难学到有效规律，反而容易记住噪声。
• 强化高频词建模：模型的训练资源会更多倾斜到有统计意义的高频词汇上，对通用文本模式的捕捉会更精准，通用场景下的预测稳定性会提升。

负面影响 #

• 丢失领域关键信息：如果数据集中的稀有词包含特定领域的专业术语、专属人名/地名（比如医疗病历里的罕见病症名、法律文本里的特殊法规术语），移除后模型会完全无法理解这类内容，相关场景下的预测准确率会明显下降。
• 破坏文本语义完整性：部分稀有词是句子语义的核心节点（比如某个特定事件的专有名词），移除后会导致上下文逻辑断裂，模型无法正确解读文本含义，进而影响预测结果。
• 弱化错误容错能力：如果数据集中的稀有词包含拼写错误、OCR识别偏差的内容，移除后模型遇到这类错误时，无法将其映射到正确词汇，会出现预测偏差。

实操建议 #

实际项目中，不要直接一刀切移除，建议先做小范围对比测试：分别训练保留稀有词和移除稀有词的两个模型版本，在验证集上对比困惑度、预测准确率等核心指标，再结合业务场景做决策。如果是通用场景（比如普通聊天、新闻文本预测），移除这类稀有词通常利大于弊；如果是特定领域模型，可考虑用<UNK>标记替代稀有词，或者人工筛选保留关键的低频专业词汇。

内容的提问来源于stack exchange，提问作者mucho