Elasticsearch：基于匹配分数过滤结果的Java实现及统计方法咨询

首先说你考虑的标准差：标准差并不适合这个场景。因为ES的匹配分数分布通常是严重右偏的——大部分文档分数极低，少数核心文档分数很高，标准差会被这些高分值大幅拉高，导致计算出的过滤阈值可能完全不符合预期，比如可能把很多其实还算相关的文档误过滤，或者根本过滤不掉真正的低质量结果。

下面是更贴合ES实际场景的几种方法：

1. 绝对分数阈值（最简单直接） #

如果业务上能给出一个明确的“及格线”分数，直接用ES的min_score参数就能过滤，比如你觉得0.1分以下的文档完全没用，就这么写：

{
  "query": {
    "match": {
      "content": "你的搜索关键词"
    }
  },
  "min_score": 0.1,
  "size": 50
}

这种方法不需要任何统计计算，性能最好，适合对分数有大致预期的场景。

2. 相对分数阈值（基于最高分的比例） #

因为ES的匹配分数是相对值，和查询、文档内容强相关，绝对阈值可能在不同查询下效果不稳定。这时候可以用“保留分数≥最高分N%”的逻辑，比如只留分数是最高分10%以上的文档。
实现思路是：

• 先通过聚合拿到当前查询结果的最高分
• 再用function_score或者脚本过滤器，过滤掉分数低于最高分10%的文档

示例（先聚合拿最高分，再过滤）：
第一步聚合请求：

{
  "query": {
    "match": {
      "content": "你的搜索关键词"
    }
  },
  "size": 0,
  "aggs": {
    "max_score": {
      "max": {
        "field": "_score"
      }
    }
  }
}

拿到最高分后，第二步查询用脚本过滤：

{
  "query": {
    "bool": {
      "must": [
        {"match": {"content": "你的搜索关键词"}}
      ],
      "filter": {
        "script": {
          "source": "_score >= params.max_score * 0.1",
          "params": {
            "max_score": 5 // 替换成第一步拿到的最高分
          }
        }
      }
    }
  },
  "size": 50
}

3. 百分位数过滤（最稳健的统计方法） #

如果想基于数据分布来过滤尾部低分数文档，百分位数比标准差靠谱得多——它不受极端值影响，能精准定位到你想保留的“前X%”文档。比如你想过滤掉最后20%的低分数文档，就取80分位数，只保留分数高于80分位数的结果。
实现同样需要先做聚合拿到百分位数，再用脚本过滤：
第一步聚合请求：

{
  "query": {
    "match": {
      "content": "你的搜索关键词"
    }
  },
  "size": 0,
  "aggs": {
    "score_percentiles": {
      "percentiles": {
        "field": "_score",
        "percents": [80] // 取80分位数
      }
    }
  }
}

拿到80分位数的值后，第二步查询过滤：

{
  "query": {
    "bool": {
      "must": [
        {"match": {"content": "你的搜索关键词"}}
      ],
      "filter": {
        "script": {
          "source": "_score >= params.percentile_80",
          "params": {
            "percentile_80": 0.3 // 替换成第一步拿到的80分位数值
          }
        }
      }
    }
  },
  "size": 50
}

总结一下：如果能定绝对阈值就用min_score；如果需要自适应不同查询，优先用百分位数或者相对分数比例，别用标准差——它在ES的分数分布场景下基本没用。

内容的提问来源于stack exchange，提问作者Java2Avaj