FastText.wv.save_word2vec_format()生成双单词条致加载异常问题咨询

核心结论 #

• 该现象既不是针对高共现词对的预设处理，也不属于预期行为，是旧版FastText的已知bug。
• 加载函数没有对应适配是符合标准的：word2vec文本格式的官方规范明确要求词条不得包含空格，KeyedVectors.load_word2vec_format()严格遵循该规范实现，不会兼容非标准格式内容。

触发原因 #

你观察到的异常行由两类已知的旧版本（FastText ≤0.9.1）问题导致：

1. 训练数据中词条附带隐形Unicode控制字符、换行/制表符残留时，save_word2vec_format()导出时会错误将这类特殊字符转义为空格，把单个词条拆分为多个空格分隔的字符串
2. 训练时启用minCount词频截断逻辑时，极小概率会出现词表索引越界，导致相邻两个独立词条的文本被拼接后导出，中间用空格分隔

优化解决方案 #

你当前的临时剔除方案可以替换为以下更稳妥的处理方式：

• 优先升级FastText到0.9.2及以上正式版本，该bug在2020年的版本迭代中已经被官方修复，升级后重新训练/导出即可彻底解决问题
• 无法升级版本的场景下，导出时指定save_word2vec_format(binary=True)，使用二进制格式完成导出导入，完全规避空格解析逻辑
• 必须使用文本格式的场景下，不需要直接删除异常行：按行读取后取最后N个元素（N为词向量维度）作为向量值，前面所有元素拼接为完整词条即可保留有效数据

内容的提问来源于stack exchange，提问作者rchurch4