基于字段优先级的OpenAI文本嵌入结果排序及分数异常问题求助

一、实现自定义字段优先级排序（title>description>其他字段） #

方案1：多字段加权检索（Boosting） #

通过给不同字段的嵌入查询设置boost权重，直接控制排序优先级，权重越高的字段匹配结果排名越靠前。适合不需要绝对严格优先级（允许高分数的description结果偶尔超过低分数的title结果）的场景。

示例DSL：

{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "title_embedding": {
              "query": "abc",
              "boost": 5  # title字段权重最高
            }
          }
        },
        {
          "match": {
            "description_embedding": {
              "query": "abc",
              "boost": 2  # description权重次之
            }
          }
        },
        {
          "match": {
            "other_field_embedding": {
              "query": "abc",
              "boost": 1  # 其他字段权重最低
            }
          }
        }
      ]
    }
  }
}

注：假设每个字段单独生成了嵌入字段（如title_embedding），这种方式比多字段拼接嵌入的优先级控制更精准。

方案2：分阶段检索+结果合并排序 #

如果需要严格保证title匹配的结果全部排在description之前（无论语义相似度分数），可以分三次检索后拼接结果：

1. 先查询title嵌入匹配"abc"的文档，按相似度排序
2. 再查询description嵌入匹配"abc"且未出现在第一步结果中的文档，按相似度排序
3. 最后查询其他字段嵌入匹配"abc"且未出现在前两步结果中的文档，按相似度排序
4. 将三个结果集按顺序拼接返回

示例伪代码：

# 第一步：获取title匹配的文档及ID
title_hits = es.search(
    index="your_index",
    query={"match": {"title_embedding": "abc"}}
)["hits"]["hits"]
title_ids = [hit["_id"] for hit in title_hits]

# 第二步：获取description匹配且不在title结果中的文档
desc_hits = es.search(
    index="your_index",
    query={
        "bool": {
            "must": [{"match": {"description_embedding": "abc"}}],
            "must_not": [{"ids": {"values": title_ids}}]
        }
    }
)["hits"]["hits"]
desc_ids = title_ids + [hit["_id"] for hit in desc_hits]

# 第三步：获取其他字段匹配且不在前两步结果中的文档
other_hits = es.search(
    index="your_index",
    query={
        "bool": {
            "must": [{"match": {"other_field_embedding": "abc"}}],
            "must_not": [{"ids": {"values": desc_ids}}]
        }
    }
)["hits"]["hits"]

# 合并最终结果
final_results = title_hits + desc_hits + other_hits

二、精确匹配时相似度分数仅约0.7的解决方案 #

text-embedding-ada-002是语义嵌入模型，本身不针对精确字符串匹配优化，因此精确字符串的余弦相似度不会达到1，以下是优化方案：

方案1：混合检索（语义嵌入+精确匹配加权） #

在查询时同时执行语义检索和精确匹配，通过脚本对精确匹配的结果额外加分，确保其排名靠前。

示例DSL：

{
  "query": {
    "script_score": {
      "query": {
        "match": {
          "title_embedding": "abc"
        }
      },
      "script": {
        "source": """
          // 如果title字段精确匹配查询词，分数乘以2
          if (doc['title'].value == params.query_text) {
            return _score * 2;
          }
          return _score;
        """,
        "params": {
          "query_text": "abc"
        }
      }
    }
  }
}

方案2：优先返回精确匹配结果 #

在索引中保留原始文本字段，查询时将精确匹配的结果设为最高优先级，再返回语义匹配结果：

{
  "query": {
    "bool": {
      "should": [
        // 精确匹配结果权重拉满，确保排在最前面
        { "term": { "title": { "value": "abc", "boost": 10 } } },
        // 语义匹配结果
        { "match": { "title_embedding": "abc" } }
      ]
    }
  }
}

方案3：调整嵌入生成的提示词 #

生成嵌入时，给需要精确匹配的字段添加定向提示，引导模型生成更偏向精确匹配的嵌入：

# 生成title嵌入时的提示词
title_prompt = f"Generate an embedding for exact string match comparison: {title_text}"
title_embedding = openai.Embedding.create(input=title_prompt, model="text-embedding-ada-002")["data"][0]["embedding"]

注：该方法效果需测试调整，不同提示词对模型的影响存在差异。

内容的提问来源于stack exchange，提问作者Utsav Dholiya