Elasticsearch KNN搜索num_candidates参数候选文档选择逻辑问询

一、num_candidates参数的候选文档选择逻辑 #

Elasticsearch的KNN基于HNSW（Hierarchical Navigable Small Worlds）算法实现，num_candidates参数直接对应HNSW中的efSearch参数，具体选择逻辑如下：

• 每个分片从HNSW图的入口节点开始，沿着图中与查询向量距离最近的节点路径逐步扩展候选集。HNSW的层级结构会优先引导查询访问更可能接近目标的节点，避免无差别遍历。
• 当收集到的候选文档数量达到num_candidates时，分片停止遍历，随后对这些候选文档进行精确的距离计算，筛选出分片内的Top候选。
• 最后协调节点汇总所有分片的候选结果，再从中选出全局Top k个文档返回。

二、KNN是否会遍历所有文档 #

不会。HNSW属于近似最近邻（ANN）算法，核心设计就是通过图结构减少需要计算的节点数量，以此换取查询性能的提升。因此KNN搜索无法保证找到全局最优的Top k结果，只能在精度和性能之间做平衡：num_candidates设置越大，候选覆盖范围越广，结果精度越高，但查询耗时也会相应增加。

三、无索引变更时KNN结果不一致的原因 #

这种情况主要由HNSW算法的特性和并行处理的细节导致：

• HNSW图构建的随机性：节点插入时的层级选择、邻居节点的选取带有随机因素，即使是相同的数据集，多次构建的图结构可能存在细微差异，导致查询遍历路径不同。
• 查询起始节点的随机性：部分场景下查询的起始节点选择存在随机成分，不同起始节点会导致遍历到的候选集出现差异，最终影响Top k结果。
• 浮点精度与并行排序波动：当多个分片返回的候选文档距离非常接近时，协调节点合并排序时，浮点计算的精度误差可能导致结果顺序出现细微波动。

内容的提问来源于stack exchange，提问作者Jxadro