gensim训练阿拉伯语OCR语料word2vec余弦相似度大于1的解决方法

• 你遇到的“相似度略大于1”的现象，根本不是模型计算逻辑错误。Gensim底层的向量相似度计算用了单精度32位浮点运算做SIMD硬件加速，这类硬件级的浮点计算会在累计过程中产生1e-7量级的固有误差——哪怕是两个完全一模一样的向量，计算余弦相似度时也会出现比真实值1.0稍高的结果，也就是你看到的1.0000001这类数值。这个问题和你用的阿拉伯语OCR语料、语料里的拼写错误、有没有做词干提取没有任何关系，哪怕换干净的英文通用语料训练模型，也会出现完全一样的现象。
• 你之前觉得通用解决方案不适用你的场景，是误把这个浮点误差导致的数值越界问题，和OCR语料本身的语义聚合问题绑定了，实际上两者是完全独立的。

• 先做最省事的数值兜底：对所有计算出来的相似度结果做边界截断，直接把越界的数值约束在[0,1]区间，完全不需要改动模型训练流程就能解决相似度超过1的问题，示例代码：

  def safe_word_similarity(w1, w2):
      raw_score = model.similarity(w1, w2)
      return max(0.0, min(1.0, raw_score))
  

• 调整Word2Vec训练参数，适配错字语料，完全不需要强制加词干提取步骤：
  • 把当前设置的min_count=5调低到2-3。OCR产生的形近错字大多是低频词汇，如果min_count设置过高，这些错字会被直接过滤出词表，模型根本没机会学习错字和对应原词的语义关联。把低频错字保留在词表里，Word2Vec会自然把语义位置接近的错字向量聚合到一起。
  • 适当提升嵌入维度，从默认的100维提高到200-300维。阿拉伯语OCR错字的拼写相似度非常高，更高的嵌入维度能给模型足够的容量区分形近词的细微语义差异，避免所有形近词的向量过度重叠。
  • 把上下文窗口从默认的5调大到7-9。OCR识别的文本普遍存在断句偏差、字符识别错误，更长的上下文窗口能抵消单句信息缺失带来的向量学习误差。
• 针对阿拉伯语OCR错字的特点做近邻结果后处理，不需要改动原始语料：阿拉伯语的OCR错误基本都来自形近字母混淆（比如ت/ث/ن、ح/ج/خ这类视觉上很难区分的字符），在模型返回最近邻结果后，可以补充计算目标词和其他词汇的编辑距离，把编辑距离在1-2以内的词汇补入近邻列表，刚好匹配你不想做词干提取的需求。
• 你当前的预处理流程其实完全适配场景：gensim.utils.simple_preprocess按空格切分的逻辑不会强行拆分阿拉伯语的连写单词，同时会自动过滤掉对语义无贡献的变音符号、特殊字符，不需要再加额外的复杂清洗步骤。

内容的提问来源于stack exchange，提问作者Perl Del Rey