Google如何识别并翻译Unicode替换字符（U+FFFD）？

在使用OpenAI生成多语言文本时，即便指定了正确的字符编码，仍会周期性出现U+FFFD（�）替换字符。原本以为这类损坏字符无法被识别和修复，但测试发现Google翻译能准确翻译包含该字符的单词，例如：

输入文本：

mno��stva
pou��itím
dôle��ité

Google翻译输出：

multitudes
using
important

想了解Google是通过猜测还是特定机制来识别这些损坏字符？

解答 #

Google翻译能识别这类损坏字符，核心不是单纯的“猜测”，而是基于以下几种成熟机制：

• 上下文与词汇统计匹配：Google翻译的训练数据覆盖海量多语言文本，对于带U+FFFD的单词，它会结合上下文（若存在）和单词的可识别剩余部分，匹配概率最高的合法词汇。比如mno��stva，剩余的mno和stva在捷克语中对应mnohostva（对应英文multitudes），模型通过统计概率锁定该词汇。
• 字符编码错误模式匹配：U+FFFD多由编码解码不匹配导致（如用ISO-8859-1解码UTF-8文本），这类错误有固定模式。Google翻译系统内置了常见编码错误的映射规则，能反向推导原本的字符。你例子中的�大概率对应捷克语的带重音字符（如h、ž），系统可根据词汇结构还原。
• 多语言词汇对齐模型：Google翻译底层有对齐的多语言词汇库，当输入的损坏单词与目标语言某词汇在结构、场景上高度匹配时，模型会直接关联正确翻译结果，无需完全修复原字符。

内容的提问来源于stack exchange，提问作者Joe