如何在Elasticsearch中自定义BM25相似度实现二元词频？

当然有办法搞定这个需求！你要的其实就是二元词频版的BM25——不管目标词在文档里出现多少次，只要出现就按1来算，彻底忽略实际的出现次数。在Elasticsearch里，最简的实现方式是自定义一个相似度规则，具体操作如下：

• 步骤1：创建带自定义相似度的索引
  我们可以基于原生BM25，通过脚本重写词频（tf）的计算逻辑，直接把词频转成二元值。下面是创建索引的示例：

  PUT /my_custom_index
  {
    "settings": {
      "number_of_shards": 1,
      "similarity": {
        "binary_bm25": {
          "type": "BM25",
          "script": {
            "source": "return doc.freq > 0 ? 1 : 0;"
          }
        }
      }
    },
    "mappings": {
      "properties": {
        "target_field": { // 替换成你实际要应用的文本字段名
          "type": "text",
          "similarity": "binary_bm25"
        }
      }
    }
  }
  

  这里我们定义了名为binary_bm25的自定义相似度，核心逻辑就是通过脚本判断：如果文档中存在该词（doc.freq > 0），就返回1，否则返回0。之后把这个相似度绑定到指定的文本字段上即可。

• 步骤2：针对已有索引的处理方式
  如果你已经有一个运行中的索引，无法直接修改字段的相似度配置，那可以通过**重新索引（reindex）**来实现：先按照上面的配置创建一个新索引，然后把旧索引的数据同步到新索引中，之后用新索引提供查询服务。

• 备选临时方案：查询时动态修改评分
  如果你只是想在某次查询中临时使用二元词频的BM25，可以用script_score查询动态改写评分逻辑，但这种方式每次查询都要编写脚本，不如自定义相似度来得一劳永逸，所以只推荐作为临时测试使用。示例如下：

  GET /my_index/_search
  {
    "query": {
      "script_score": {
        "query": {
          "match": {
            "target_field": "your_query_term"
          }
        },
        "script": {
          "source": "double tf = doc['target_field'].freq > 0 ? 1 : 0; double idf = Math.log((params.docCount - doc['target_field'].docFreq + 0.5) / (doc['target_field'].docFreq + 0.5)); return tf * idf;"
        },
        "params": {
          "docCount": 1000 // 替换成你的索引总文档数
        }
      }
    }
  }
  

需要注意的是，自定义的binary_bm25相似度完全保留了原生BM25的其他参数（比如k1、b），如果你需要调整这些参数，直接在相似度定义里添加即可。

内容的提问来源于stack exchange，提问作者merkylove