BERT模型对拼写错误的鲁棒性如何？餐饮场景微调实操疑问

BERT对同语义不同拼写词汇的处理逻辑 #

通用BERT默认采用WordPiece分词策略，你提到的Gewürztraminer这类餐饮垂直领域的低频专业词汇，大概率会被切分为多个子词：带ü的版本和替换为u、缩写为Gewurtz的版本切分出来的子词序列存在明显差异，只要预训练语料中没有大量同时出现过这类变体的上下文，模型无法天然识别出它们指代同一事物，会默认判定为语义存在差异的不同内容。

优化建议 #

• 优先搭建领域变体映射表：整理所有已发现的拼写差异、重音变体、专业缩写，统一映射为标准写法。这个映射表要同时作用于训练集预处理、推理输入预处理两个阶段，从数据层面直接消除拼写差异，是成本最低、见效最快的方案。
• 训练阶段补充变体数据增强：不用完全把训练语料中的所有变体都清洗为唯一写法，反而可以基于映射表随机将标准词替换为不同的变体，让模型在训练过程中就接触到同一语义的不同写法，提升对拼写误差的鲁棒性。
• 效果验证：可以先构造一批包含各类拼写变体的测试集，分别测试无优化、仅统一训练集、全流程统一+数据增强三种方案的分类准确率，判断优化是否符合预期。
• 可选高阶优化：如果分类任务对专业术语的识别精度要求极高，前两个方案达不到预期，可以在BERT输入层前增加轻量的字符级编码模块（比如小尺寸CNN），降低字符层面的拼写差异对整体语义表示的影响，但该方案改动成本较高，非必要不推荐。

内容的提问来源于stack exchange，提问作者wtfzambo