Elasticsearch match查询短文档得分低于长重复文档如何优化？

问题原因 #

Elasticsearch 默认使用 BM25 相似度算法计算文档得分，得分由两个核心维度共同决定：

• 词频（TF）：搜索词在文档中出现的次数越多，得分越高
• 字段长度归一化：文档字段长度越短，得分越高
  你遇到的情况是当前配置下词频的权重超过了长度归一化的权重，因此包含更多Apple的长文档得分更高。

解决方案 #

方案1：自定义BM25相似度参数（推荐，性能最优） #

直接调整BM25的核心参数，弱化甚至关闭词频对得分的影响，同时强化长度归一化的权重，完全适配食品名称搜索的场景。
创建索引时按如下配置自定义相似度：

PUT /food_index
{
  "settings": {
    "index": {
      "similarity": {
        "custom_bm25": {
          "type": "BM25",
          "k1": 0, // 设为0时完全关闭词频增益，无论搜索词出现多少次，词频贡献一致
          "b": 1 // 最高强度的长度归一化，越短的文档得分优势越大
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "text": {
        "type": "text",
        "similarity": "custom_bm25" // 给text字段绑定自定义相似度
      }
    }
  }
}

配置完成后重建索引导入数据，后续搜索默认就会优先返回匹配的短文档。

方案2：查询时通过脚本动态加权（无需重建索引） #

如果不方便修改索引配置，可以在查询时用function_score给短文档额外加权：

{
  "query": {
    "function_score": {
      "query": {
        "match": {
          "text": "Apple"
        }
      },
      "script_score": {
        "script": {
          "source": "_score / (doc['text'].size() + 1)" // 按字段词数的倒数加权，词数越少得分越高
        }
      },
      "boost_mode": "replace"
    }
  }
}

注意：如果使用该方案，需要确保text字段开启了fielddata，或者配置了keyword类型的子字段用于获取长度。

内容的提问来源于stack exchange，提问作者Ray Zarei