如何基于字段值计数提升ElasticSearch相关性：稀有值优先

这问题我太有发言权了！之前做内容搜索的时候刚好碰到过几乎一模一样的场景——大量高频字段值的文档把稀有值的文档淹没，导致用户找不到小众但可能更有价值的内容。你的需求核心就是基于字段值的出现频率反向加权：出现次数越少的字段值，对应文档的相关性分数越高，下面以最常用的Elasticsearch为例，给你具体的实现方案：

核心思路 #

利用搜索引擎的自定义评分函数，给字段值稀有度高的文档额外增加权重。本质是用「字段值的文档频率（DF）」的倒数作为权重——DF越低（出现次数越少），权重越高，最终让稀有字段值的文档总分超过高频值的文档。

具体实现（Elasticsearch） #

用function_score查询结合rare_term函数，这是官方专门为这类场景设计的功能，能自动识别字段中的稀有值并加权：

{
  "query": {
    "function_score": {
      // 第一步：先执行基础查询，找到所有title含"abc"的文档
      "query": {
        "match": {
          "title": "abc"
        }
      },
      // 第二步：给稀有字段值的文档加权重
      "functions": [
        {
          "rare_term": {
            "field": "author", // 指定要判断稀有度的字段
            "boost": 15       // 给稀有值文档的额外权重，可根据实际需求调整
          }
        }
      ],
      // 第三步：设置原始分数和额外权重的组合方式
      "boost_mode": "sum" // 原始相关性分数 + 稀有度权重，也可以用"multiply"相乘
    }
  }
}

效果说明 #

• 对于author为Joe的文档，因为该值仅出现1次，属于极端稀有值，会获得最高的额外权重，最终总分会远高于author为John的1000份文档，直接排到搜索结果的最前面。
• boost参数可以灵活调整：如果觉得权重加得太多，就调小数值；如果还是不够突出，就调大。
• boost_mode选sum是最直观的，原始分数基础上直接加权重；如果想让稀有度的影响更显著，可以用multiply（原始分数 × 稀有度权重）。

进阶自定义（如果需要更精细的控制） #

如果rare_term的默认逻辑不能满足你的需求，还可以用script_score自己计算权重，比如基于字段值的总出现次数的倒数来加权：

{
  "query": {
    "function_score": {
      "query": {
        "match": {
          "title": "abc"
        }
      },
      "functions": [
        {
          "script_score": {
            "script": {
              // 获取当前文档author值的全局出现次数，然后计算权重（这里用1000除以次数，保证稀有值权重更高）
              "source": "def authorDocCount = _global_terms['author'][doc['author'].value]; return 1000 / authorDocCount;"
            }
          }
        }
      ],
      "boost_mode": "sum"
    }
  }
}

这个方式需要确保你的索引开启了_global_terms功能，不过一般默认是支持的。

总结 #

不管用哪种方式，核心逻辑都是用字段值的稀有度反向调整相关性分数，让小众文档不会被大量同类文档淹没。如果是用其他搜索引擎（比如Solr），思路也是类似的——找到对应的自定义评分函数，基于字段值的文档频率来加权即可。

内容的提问来源于stack exchange，提问作者johanzhou