Vespa排序表达式中数值型字符串比较异常问题

在Vespa中编写排序表达式时，发现存储数值格式字符串（如"1.0"）的字段比较行为异常：即使字段值与查询参数字面量完全一致，比较结果仍为不相等，导致相关性计算错误。以下是完整复现场景与解决办法：

复现环境与步骤 #

应用目录结构 #

❯ tree
.
├── example
│   ├── schema
│   │   └── documents.sd
│   └── services.xml
└── minimal_feed.json

测试数据（minimal_feed.json） #

{"put": "id:namespace:documents::doc1", "fields": {"field1": "some text", "field2": "value1", "field3": "1.0"}}
{"put": "id:namespace:documents::doc2", "fields": {"field1": "other text", "field2": "value2", "field3": "2.0"}}

Schema定义（example/schema/documents.sd） #

schema documents {
    document documents {
        field field1 type string {
            indexing: summary | index
            match: text
        }
        field field2 type string {
            indexing: summary | attribute
            match: exact
        }
        field field3 type string {
            indexing: summary | attribute
            match: exact
        }
    }

    rank-profile custom_rank {
        first-phase {
            expression: if(attribute(field3) == query(field3_query), 1, 0)
        }
    }
}

Services配置（example/services.xml） #

<services version="1.0">
    <container id="default" version="1.0">
        <search />
        <document-api />
    </container>

    <content id="content" version="1.0">
        <redundancy>1</redundancy>
        <documents>
            <document type="documents" mode="index"/>
        </documents>
        <nodes count="1"/>
    </content>
</services>

部署与查询操作 #

# 部署应用
❯ vespa deploy --wait 300 example/
Waiting up to 5m0s for deploy API...
Uploading application package... done

# 导入数据
❯ vespa feed -t http://localhost:8080 minimal_feed.json
{
  "feeder.operation.count": 2,
  "feeder.seconds": 1.203,
  "feeder.ok.count": 2,
  "feeder.ok.rate": 1.662,
  "feeder.error.count": 0,
  "feeder.inflight.count": 0,
  "http.request.count": 2,
  "http.request.bytes": 143,
  "http.request.MBps": 0.000,
  "http.exception.count": 0,
  "http.response.count": 2,
  "http.response.bytes": 184,
  "http.response.MBps": 0.000,
  "http.response.error.count": 0,
  "http.response.latency.millis.min": 1200,
  "http.response.latency.millis.avg": 1200,
  "http.response.latency.millis.max": 1200,
  "http.response.code.counts": {
    "200": 2
  }
}

# 执行查询
❯ curl -X GET "http://localhost:8080/search/?yql=select%20*%20from%20sources%20*%20where%20field1%20contains%20%27text%27;&ranking.profile=custom_rank&ranking.features.query(field3_query)=1.0" | jq .

查询结果 #

所有文档的相关性均为0，未匹配预期的doc1相关性为1的结果：

{
  "root": {
    "id": "toplevel",
    "relevance": 1,
    "fields": {
      "totalCount": 2
    },
    "coverage": {
      "coverage": 100,
      "documents": 2,
      "full": true,
      "nodes": 1,
      "results": 1,
      "resultsFull": 1
    },
    "children": [
      {
        "id": "id:namespace:documents::doc1",
        "relevance": 0,
        "source": "content",
        "fields": {
          "sddocname": "documents",
          "documentid": "id:namespace:documents::doc1",
          "field1": "some text",
          "field2": "value1",
          "field3": "1.0"
        }
      },
      {
        "id": "id:namespace:documents::doc2",
        "relevance": 0,
        "source": "content",
        "fields": {
          "sddocname": "documents",
          "documentid": "id:namespace:documents::doc2",
          "field1": "other text",
          "field2": "value2",
          "field3": "2.0"
        }
      }
    ]
  }
}

问题原因分析 #

Vespa的排序表达式会自动触发类型提升机制：当字符串字段内容符合数值格式（如"1.0"）时，表达式会将其转换为数值类型（double）进行计算；而查询参数field3_query若以字符串形式传入（即使字面是数值），可能仍保留字符串类型，导致数值与字符串的跨类型比较结果为不相等。此外，即使参数被转换为数值，浮点数的精度特性也可能引发非预期的比较结果。

验证：将field2（非数值格式字符串）用于比较时结果正常，给field3的值添加字符前缀（如"x1.0"）后比较也正常，说明类型自动转换是核心原因。

解决方案 #

方案1：显式强制字符串比较 #

修改排序表达式，使用toString()函数将两边操作数统一转换为字符串类型，避免自动类型提升：

rank-profile custom_rank {
    first-phase {
        expression: if(toString(attribute(field3)) == toString(query(field3_query)), 1, 0)
    }
}

方案2：使用对应数值类型存储 #

如果字段实际存储的是数值，直接将field3的类型改为double（或对应数值类型），这样比较逻辑会直接按数值处理，避免类型转换问题：

field field3 type double {
    indexing: summary | attribute
}

同时需要调整feed数据中的field3值为数值类型（去掉引号）：

{"put": "id:namespace:documents::doc1", "fields": {"field1": "some text", "field2": "value1", "field3": 1.0}}

方案3：确保查询参数类型匹配 #

在查询时，显式指定查询参数的类型为字符串（例如通过URL编码传递带引号的字符串），但这种方式不够直观，推荐优先使用前两种方案。

内容的提问来源于stack exchange，提问作者glp