Elasticsearch插件字段值获取及模糊匹配后重评分技术咨询

嘿，我来帮你搞定这两个Elasticsearch相关的问题，分两部分详细说明：

在Elasticsearch插件开发中，获取文档字段值的方式取决于你在插件的哪个环节操作（比如重评分、自定义查询、聚合等），最常见的场景是在处理查询结果时通过SearchHit对象来获取字段值，这里给你两种常用方法：

• 从存储字段中获取（高效）：如果你的字段在mapping中设置了store: true，可以直接通过hit.getField("字段名")获取，不需要解析整个source，性能更好。
• 从source中获取（通用）：如果字段没有单独存储，就从文档的source数据中提取，适合大多数场景，但会有一定的解析开销。

给你一个自定义重评分插件的代码片段作为示例：

@Override
public void rescore(RescoreContext context, TopDocs topDocs, SearchContext searchContext) throws IOException {
    for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
        // 通过文档ID获取SearchHit对象
        SearchHit hit = searchContext.searcher().doc(scoreDoc.doc);
        
        // 方法1：从存储的MovieName字段获取值
        String movieNameFromStored = hit.getField("MovieName").getValue();
        
        // 方法2：从source中获取MovieName字段值（如果字段未单独存储）
        String movieNameFromSource = (String) hit.getSourceAsMap().get("MovieName");
        
        // 拿到值之后就可以做后续的比较、评分逻辑了
    }
}

你的需求是先做模糊匹配搜索，再根据输入字符串和文档字段的匹配程度重评分，这里提供两种实现方式：

方式一：用原生DSL实现（无需开发插件） #

如果你的比较逻辑不算特别复杂，用Elasticsearch的script rescore就能搞定，比如基于编辑距离（Levenshtein Distance）来计算匹配度，距离越近评分越高。

下面是完整的DSL示例，输入字符串为Star Wars：

{
  "query": {
    // 第一步：模糊匹配搜索MovieName字段
    "match": {
      "MovieName": {
        "query": "Star Wars",
        "fuzziness": "AUTO" // 自动根据字符串长度设置模糊度，也可以设具体值比如2
      }
    }
  },
  "rescore": {
    "window_size": 100, // 只对前100个搜索结果做重评分，平衡性能和效果
    "query": {
      "rescore_query": {
        "function_score": {
          "script_score": {
            "script": {
              "source": """
                String input = params.input;
                String docMovieName = doc['MovieName'].value;
                // 计算输入字符串和文档字段的编辑距离
                int distance = org.apache.commons.lang3.StringUtils.getLevenshteinDistance(input, docMovieName);
                // 距离越小，重评分越高，这里用1/(distance+1)来计算加分
                return 1.0 / (distance + 1);
              """,
              "params": {
                "input": "Star Wars"
              }
            }
          }
        }
      },
      "query_weight": 0.7, // 原始模糊查询的评分权重
      "rescore_query_weight": 0.3 // 重评分的权重，可根据需求调整
    }
  }
}

这个DSL的逻辑是：

1. 先用match查询做模糊匹配，返回相关文档；
2. 对前100个结果，用脚本计算输入字符串和MovieName的编辑距离，距离越近重评分越高；
3. 最终评分是原始评分×0.7 + 重评分×0.3，权重可以根据你的需求调整。

方式二：用自定义插件实现复杂逻辑 #

如果你的比较逻辑非常特殊（比如不是编辑距离，是自定义的匹配规则），就可以基于第一个问题的代码，开发自定义重评分插件：

@Override
public void rescore(RescoreContext context, TopDocs topDocs, SearchContext searchContext) throws IOException {
    // 从上下文获取输入字符串（可以在查询参数中传入）
    String inputString = (String) context.getQuery().getParams().get("input");
    
    for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
        SearchHit hit = searchContext.searcher().doc(scoreDoc.doc);
        String movieName = hit.getField("MovieName").getValue();
        
        // 自定义比较逻辑，比如精确匹配加1分，近似匹配加0.5分，包含关键词加0.3分
        float customScore = calculateCustomScore(inputString, movieName);
        
        // 合并原始评分和自定义重评分
        scoreDoc.score = scoreDoc.score * 0.7f + customScore * 0.3f;
    }
}

private float calculateCustomScore(String input, String docValue) {
    if (input.equals(docValue)) {
        // 完全匹配，最高加分
        return 1.0f;
    } else if (org.apache.commons.lang3.StringUtils.getLevenshteinDistance(input, docValue) <= 1) {
        // 编辑距离<=1，近似匹配
        return 0.5f;
    } else if (docValue.contains(input)) {
        // 文档字段包含输入字符串
        return 0.3f;
    } else {
        // 匹配度很低，少量加分
        return 0.1f;
    }
}

注意事项 #

• 如果要使用hit.getField()获取字段，需要在mapping中设置该字段store: true，否则会返回null；
• 用脚本重评分时，要确保Elasticsearch允许使用inline脚本，需在elasticsearch.yml中配置script.allowed_types: inline, stored（不同ES版本配置可能略有不同）；
• window_size不要设置太大，否则会影响重评分的性能，一般设置为你实际需要重评分的结果数量即可。

内容的提问来源于stack exchange，提问作者Maarab