Elasticsearch文档数量增长时评分波动问题及解决方案咨询

针对你遇到的文档数量增长导致BM25评分波动的问题，以下几种方案可以实现稳定的相似度评分：

1. 自定义脚本相似度（Scripted Similarity） #

直接绕过BM25依赖全局文档统计的逻辑，编写Painless脚本定义仅与当前文档和查询相关的相似度规则，比如匹配词占比、Jaccard系数等，完全不受全局文档数量影响。

示例索引配置：

{
  "settings": {
    "similarity": {
      "title_similarity": {
        "type": "scripted",
        "script": {
          "source": """
            def titleTerms = doc['title'].value.split(' ');
            if (titleTerms.length == 0) return 0;
            return params.matched_terms.size() / (float)titleTerms.length;
          """
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "similarity": "title_similarity"
      }
    }
  }
}

2. 常量评分查询（Constant Score Query） #

如果只需要判断「是否相似」，不需要区分相似程度，用constant_score给所有匹配文档固定评分，彻底屏蔽BM25的波动。若要区分不同匹配规则的相似度，可以叠加多个constant_score条件，给不同规则设置不同权重。

Laravel中使用Elasticsearch客户端的示例：

$response = $this->elasticsearch->search([
    'index' => 'product_list_2',
    'body' => [
        'query' => [
            'constant_score' => [
                'filter' => [
                    'match' => [
                        'title' => $currentProductTitle
                    ]
                ],
                'boost' => 8.0 // 固定评分值
            ]
        ],
        'min_score' => 7.0 // 筛选达标结果
    ]
]);

3. 评分归一化处理 #

如果需要保留BM25的相对区分度，但要稳定评分范围，可对查询结果的评分做归一化，比如将所有返回结果的评分映射到0-10的固定区间，即使原始评分随文档数量变化，归一化后的评分始终保持稳定范围。

实现方式是先用聚合获取当前查询的最大评分，再通过script_score做归一化计算：

{
  "query": {
    "script_score": {
      "query": { "match": { "title": "目标商品标题" } },
      "script": {
        "source": "return (_score / params.max_score) * 10;",
        "params": {
          "max_score": 15.6 // 提前通过聚合获取的当前查询最大评分
        }
      }
    }
  }
}

4. 预计算词向量+本地相似度计算 #

提前为每个商品标题生成独立的词向量（比如仅基于当前文档的TF向量，不依赖全局IDF），存储到Elasticsearch中。查询时先计算当前商品标题的词向量，再通过ES脚本计算与文档词向量的余弦相似度，这种方式的相似度计算完全不依赖全局文档统计，评分绝对稳定。

补充：关于function_score无效的排查 #

你之前尝试的function_score如果没效果，大概率是没正确屏蔽原始BM25评分的影响。正确用法应该用filter包裹匹配条件（而非query），再通过weight或自定义脚本指定评分，这样会忽略原始BM25得分，完全使用自定义逻辑：

{
  "query": {
    "function_score": {
      "filter": { "match": { "title": "商品a" } },
      "functions": [
        {
          "weight": 10 // 固定评分
        }
      ],
      "boost_mode": "replace" // 替换原始评分
    }
  }
}

boolean相似度虽然能稳定评分，但只能返回0或1的二值结果，丢失了相似程度的区分度，适合仅需判断匹配与否的场景。如果需要区分相似程度，上面的方案更实用。

内容的提问来源于stack exchange，提问作者soheil teimory