从零训练越南语BERT遇编码错误:分词器vocab文件token乱码
越南语分词器训练后vocab文件出现乱码的修复方案
你遇到的这种带Ġ、Ã、á»前缀的乱码,是非常典型的UTF-8编码双重解析错误,和示例里的乱码特征完全匹配——本质是正常的多字节越南语UTF-8字符,被错误按单字节Latin-1规则解析生成的异常内容,不需要重新标注数据集从头训练,按下面的顺序排查修复即可:
- 优先排查训练环节的数据源读取编码
Windows环境下很多第三方库会默认用系统ANSI编码读取本地文件,如果训练分词器时直接调用库的自动读文件接口,没有显式指定文件编码,就会把本来是UTF-8编码的越南语文本错读成乱码,最终生成的vocab里的token自然全是异常值。修复时要手动控制文本读取逻辑,不管用原生Python读文件,还是对接分词器的批量喂数接口,都要在读取步骤显式指定encoding='utf-8',确保输入给分词器的原始文本是可正常显示的越南语内容。 - 次一步排查vocab文件的打开编码
有很大概率分词器本身训练完全正常,只是本地打开vocab文件时,编辑器自动匹配了错误的编码。这种情况直接用支持手动切换编码的编辑器(如VS Code、Notepad++)打开文件,手动选择UTF-8编码重新加载,乱码就会自动恢复。注意尽量不要用Windows自带的记事本查看这类无BOM的编码文件,它的自动编码识别经常出错。 - 最后核对分词器的字节预分词配置
如果你用的是ByteLevel类型的BPE分词器,要检查初始化时的字节映射规则是否为标准UTF-8映射:如果误用了旧版本的非UTF-8字节解码表,会把正常的多字节越南语字符拆成错误的单字节组合,写入vocab后就会出现乱码。修复时要确保预分词环节开启标准的UTF-8字节映射,不要随意自定义替换字节解码逻辑。
快速自检小技巧:训练完成后不要直接打开vocab文件核对正确性,在Python环境中加载训练好的分词器,编码一句日常使用的越南语句子再解码还原,如果输出内容和原句完全一致,说明分词器本身没有问题,只是文件打开环节的编码错配;如果解码结果也是乱码,就回溯检查训练时的文本读取环节。
内容的提问来源于stack exchange,提问作者save_ole
相关产品推荐
相关产品推荐

