Milvus中IVF Flat索引带元数据过滤时nprobe的选择范围确认

结论： 在Milvus的IVF_FLAT索引中，nprobe是从原始构建的nlist个聚类中选取的，而非元数据过滤后剩余的聚类。

具体逻辑说明 #

IVF_FLAT的聚类是基于全量数据集预构建的，元数据过滤的执行顺序在检索阶段的后半段：

• 首先按照nprobe参数从原始的nlist个聚类中选取最相似的若干个聚类；
• 然后从这些选中的聚类内部，筛选出符合元数据过滤条件的向量；
• 最后对筛选后的向量计算相似度并返回结果。

对应你的案例解释 #

你遇到的“过滤后仅剩余28个向量，但需将nprobe调至100才能得到结果”的情况，本质是这28个向量分散在超过默认nprobe数量的原始聚类中。如果设置的nprobe过小，选中的原始聚类没有覆盖到所有包含目标向量的聚类，自然查不到结果。只有调大nprobe，让选中的原始聚类范围覆盖所有包含过滤后向量的聚类，才能检索到目标数据。

内容的提问来源于stack exchange，提问作者Goutham