使用faiss.normalize_L2后index.Search()返回距离值达212.0的问题咨询
FAISS检索返回L2距离212的异常分析
这个现象明显异常,原因和解决方法如下:
核心原因
L2归一化后的向量模长为1,两个归一化向量的L2距离计算公式为:||a - b||² = 2(1 - cosθ)(θ是两向量夹角)
由此可知,正常情况下距离范围应该是0到4(向量完全相同时为0,完全相反时为4)。你得到212的距离,说明查询向量未做归一化处理——索引中的向量是归一化后的,但查询向量token_vector的模长可能很大,直接计算L2距离就会出现超大值。
解决步骤
对查询向量也执行L2归一化:
在调用检索方法前,必须把查询向量也做归一化,注意要转成二维数组(因为faiss.normalize_L2处理的是每行一个向量的矩阵):# 先把查询向量转为二维形状 token_vector = token_vector.reshape((1, token_vector.size)) # 执行归一化 faiss.normalize_L2(token_vector) # 再执行检索(注意FAISS方法名为小写search) distance, index_result = index.search(token_vector, k)验证归一化效果:
可以加代码确认vectormatrix归一化后的模长是否为1,排除归一化未生效的情况:import numpy as np # 打印第一个向量的模长,应该接近1.0 print(np.linalg.norm(vectormatrix[0]))
内容的提问来源于stack exchange,提问作者AKHILA NAZ
相关产品推荐
相关产品推荐

