如何使用FastText查找包含未登录词（OOV）的相似语句

一、核心适配逻辑（针对岗位变体识别需求） #

• fastText天生支持OOV识别的核心是子词n-gram特征，你遇到的落地问题大概率是默认参数没有适配岗位名称的构词特点：岗位变体多为缩写、截断、拼写简化，子词粒度更短
• 训练时建议将子词参数调整为min_n=2、max_n=5，替代默认的3-6区间，可覆盖“Dev”“Soft”这类短变体的特征提取
• 如果你的数据集包含中文岗位名称，预处理时优先使用细粒度分词（单字+双字词组合），避免首席执行官、软件工程师这类专有名词被切分丢失特征

二、Gensim fastText 实操步骤 #

1. 语料预处理：将你手里所有岗位的全称、已知变体整理为无监督训练语料，每条语料为一个独立的岗位名称即可，无需额外标注
2. 训练参考代码：

from gensim.models import FastText

# 适配岗位场景的参数配置
post_model = FastText(
    sentences=岗位语料列表, # 格式为[["Software Engineer"], ["Software Dev"], ["首席执行官"], ...]
    vector_size=100,
    min_count=1, # 不过滤低频岗位名称
    min_n=2,
    max_n=5,
    epochs=30,
    workers=4
)
# 模型保存与调用
post_model.save("post_name_matching.model")
similar_score = post_model.wv.similarity("Software Engineer", "Soft Engineer")

• 相似度判定规则：两个岗位名称的余弦相似度大于0.75即可判定为相似，阈值可根据你的业务召回、准确率要求微调

三、参考资料方向 #

• Gensim官方fastText模块的参数说明，重点核对子词特征、低频词过滤的相关配置项
• fastText原论文中OOV处理的相关章节，可参考不同领域子词粒度选择的实验依据
• HR领域岗位图谱构建的工业落地实践，重点看专有名词变体匹配的优化方案

内容的提问来源于stack exchange，提问作者rspenpal