基于预过滤的ANN中Vespa的HSNW算法邻居查找实现机制问询

Vespa在预过滤得到文档列表后，执行HSNW算法时，对该列表内的邻居查找采用的是线性搜索，而非哈希方式，具体逻辑如下：

• 预过滤后的文档集合已经是经过筛选的小规模子集（比如基于属性过滤、地理范围限制等得到的结果），线性搜索在这种数据规模下的开销极低，且实现逻辑简单，不需要额外的哈希表构建与维护成本。
• 执行HSNW邻居查找时，Vespa会直接遍历预过滤列表内的所有候选节点，计算目标向量与每个节点向量的相似度（如余弦距离、L2距离），从中筛选出符合条件的邻居节点。
• 哈希方式虽能实现快速查找，但需要提前构建哈希索引，而预过滤后的文档集合是随查询动态变化的（不同查询的预过滤结果往往不同），临时构建哈希表的额外开销反而会超过线性搜索的成本，因此不会采用这种方式。
• 为进一步提升线性搜索的效率，Vespa会利用SIMD指令等硬件优化手段加速向量相似度计算，确保在小规模子集上的查询性能达标。

内容的提问来源于stack exchange，提问作者tourism