如何在Vespa中基于数组字符串字段的最大BM25分数排序？

问题背景 #

现有Vespa Schema中定义了array<string>类型字段titles，配置如下：

field titles type array<string> { 
        indexing: index | summary | attribute
        index: enable-bm25
        attribute: fast-search
}

该字段存储多个标题字符串，需求是基于每个标题与查询的BM25分数的最大值对文档排序，即文档排名由max(bm25('Title 1'), bm25('Title 2'), ..., bm25('Title N'))决定。

但直接使用bm25(titles)作为排序表达式无法满足需求：

• 文档1：{"titles": [".*term 1.*", ".*term 1.*", ".*term 1.*", ".*term 1.*"]}
• 文档2：{"titles": [".*term 1 term 2 term 3.*", 无匹配术语的字符串, 无匹配术语的字符串, 无匹配术语的字符串, 无匹配术语的字符串]}

此时bm25(titles)会让文档1排名更高，原因是Vespa默认对数组字段的BM25计算是聚合所有元素的匹配贡献（总和/加权平均），但实际需要文档2排名更高——因为它有一个与查询高度匹配的标题，单元素的BM25值远高于文档1的单个元素。

解决方案 #

要实现按数组单个元素的最大BM25值排序，需借助Vespa的rank features和自定义排序表达式，具体步骤如下：

1. 确认字段配置有效性 #

现有字段配置已包含index: enable-bm25和attribute: fast-search，满足元素级特征提取的基础要求，无需修改Schema。

2. 编写自定义排序表达式 #

在查询的排序配置中，使用max(elementMatches(titles).bm25)获取数组中单个元素的最大BM25分数，示例查询如下：

{
  "yql": "select * from sources * where userQuery()",
  "ranking": {
    "profile": "default",
    "expression": "max(elementMatches(titles).bm25)"
  }
}

3. 原理说明 #

• elementMatches(titles)会遍历titles数组的每个元素，返回每个元素与查询的匹配特征集合，其中包含单个元素的bm25分数。
• max()函数对所有元素的BM25分数取最大值，以此作为文档的排序依据，完全匹配需求。

4. 可选性能优化 #

如果数组元素数量较多，可在Schema中为字段添加element-value索引配置，提升元素级特征计算效率：

field titles type array<string> { 
        indexing: index | summary | attribute
        index: enable-bm25
        attribute: fast-search
        element-value: index
}

内容的提问来源于stack exchange，提问作者teovob