预训练模型语义搜索无关文档相似度偏高,求适配的SentenceTransformers模型
适配短查询+长文档的语义搜索模型推荐
针对你当前短查询(<10词)、中等长度语料(15-30词)的语义搜索场景,且需要拉大无关文本相似度差距的需求,推荐以下几款SentenceTransformers预训练模型:
all-MiniLM-L6-v2
这款模型针对短文本语义匹配做了轻量化优化,对短查询和中等长度文档的语义边界区分更清晰,能有效降低完全无关文本间的余弦相似度,同时保留相关文本的匹配精度。multi-qa-mpnet-base-dot-v1
基于MPNet架构训练,专门适配问答与检索场景,对短查询的语义捕捉更精准,能显著拉开无关文本的向量距离,让相关/无关结果的阈值判定更明确。quora-distilbert-multilingual
依托Quora相似问题数据集训练,擅长区分语义差异较大的文本,支持多语言适配中文场景,可大幅降低完全不相关句子的相似度数值,解决你当前阈值难定的问题。
额外优化建议:
- 对短查询做轻度语义增强:比如将“男士时装”扩展为“男士时装相关的品牌或服饰”(不偏离原意前提下),提升模型对短输入的语义理解。
- 切换相似度计算方式:尝试将余弦相似度转为欧氏距离,在高维空间中该指标可能更能拉开无关向量的差距。
- 小样本微调:如果有标注数据,用自身语料对选中模型做少量微调,进一步适配业务场景,最大化相关与无关结果的区分度。
内容的提问来源于stack exchange,提问作者Aftaab Zia
相关产品推荐
相关产品推荐

