Elasticsearch ngram字段查询：非匹配词纳入评分及IDF异常疑问

一、如何让非匹配词对评分产生负向影响 #

要实现“匹配词占比越高的文档评分越高”的需求，核心是在评分中引入匹配词密度（匹配词数/文档总词数）的权重，抵消长文档（含大量非匹配词）的天然评分优势。以下是两种可行方案：

方案1：使用script_score基于文档长度降权 #

通过将原始评分除以文档的总分词数，直接降低长文档的评分。需要确保目标字段的term_vector设置为yes或with_positions_offsets（创建索引时配置），这样Elasticsearch才能获取字段的分词长度。

示例查询：

{
  "query": {
    "script_score": {
      "query": {
        "match": {
          "your_ngram_field": "current assets"
        }
      },
      "script": {
        "source": "_score / doc['your_ngram_field'].length"
      }
    }
  }
}

方案2：结合function_score计算匹配词占比 #

如果需要更精准的密度权重，可以手动统计匹配的NGram术语数量，再除以文档总词数，将该比例作为因子乘以原始评分。

示例查询（需替换实际的NGram分词结果）：

{
  "query": {
    "function_score": {
      "query": {
        "match": {
          "your_ngram_field": "current assets"
        }
      },
      "functions": [
        {
          "script_score": {
            "script": {
              "source": "(double)params.matched_terms.size() / doc['your_ngram_field'].length",
              "params": {
                "matched_terms": ["curr", "rent", "asse", "ts"] // 替换为查询词实际生成的NGram
              }
            }
          }
        }
      ],
      "boost_mode": "multiply" // 将密度因子与原始评分相乘
    }
  }
}

二、单节点下同一术语IDF值差异的原因 #

单节点环境中同一术语IDF不同，大概率是索引分片数大于1导致的：

• Elasticsearch的IDF计算是分片级别的，每个分片会基于自身存储的文档集合独立计算术语的文档频率（DF），进而得出IDF值。
• 即使是单节点，若索引创建时设置了多个分片（默认是1，但可能手动修改过），不同分片的文档分布不同，同一术语在不同分片的DF值就会有差异，最终导致来自不同分片的文档，其评分中的IDF值不一致。

解决方法：
创建索引时明确指定number_of_shards: 1，确保整个索引的文档集合统一，IDF计算基于全局文档频率，避免分片间的差异。

内容的提问来源于stack exchange，提问作者magidc