Python实现考虑特征相似度的两数值向量软余弦距离出现负值求助
实现错误定位与修正方案
核心问题总结
- 公式套用完全错误
软余弦的本质是将传统余弦计算中的内积,替换为特征相似度矩阵S介导的内积空间下的内积。正确的软余弦相似度公式为:软余弦相似度 =
a^T @ S @ b / ( sqrt(a^T @ S @ a) * sqrt(b^T @ S @ b) )
软余弦距离为1 - 软余弦相似度,理想输出范围为[0,1]。
你当前的代码错误地将归一化分母的两项全部替换为a、b的交叉内积平方根,既不符合公式逻辑,也会在S值异常时触发计算错误。 - 特征相似度矩阵S不符合计算前提
软余弦计算对S矩阵有明确要求,你当前的S矩阵存在三处关键偏差,也是最终出现负值结果的核心诱因:- 非对称:
S[i,j]与S[j,i]数值不一致,违背“特征i与j的相似度等于j与i的相似度”的基本逻辑 - 对角线值为0:特征与自身的相似度应取最大值1,当前全0的对角线会导致向量自内积计算完全失真
- 非半正定:该属性缺失会直接破坏柯西不等式的成立条件,即便你把分母替换为正确的自内积形式,也会出现交叉内积的平方大于两个自内积乘积的情况,导致计算得到的相似度超出[-1,1]的合理范围,最终出现负值距离。
- 非对称:
修正后的NumPy实现
import numpy as np # 预处理特征相似度矩阵,满足对称、对角线为1、半正定的计算要求 def preprocess_similarity_matrix(s_raw): # 矩阵对称化 s_sym = (s_raw + s_raw.T) / 2 # 对角线赋值为1 np.fill_diagonal(s_sym, 1.0) # 特征值截断修正为半正定矩阵,避免自内积出现负值 eigvals, eigvecs = np.linalg.eigh(s_sym) eigvals = np.clip(eigvals, a_min=0, a_max=None) s_psd = eigvecs @ np.diag(eigvals) @ eigvecs.T return s_psd # 软余弦距离计算函数 def soft_cosine_distance(a, b, s_psd): dot_ab = a @ s_psd @ b dot_aa = a @ s_psd @ a dot_bb = b @ s_psd @ b # 处理分母为0的极端情况 denom = np.sqrt(dot_aa) * np.sqrt(dot_bb) if denom < 1e-12: return 1.0 sim = dot_ab / denom # 裁剪到[-1,1]范围,抵消数值计算误差导致的越界 sim = np.clip(sim, -1, 1) return 1 - sim # 调用示例 a = np.array([0, .25, .25, 0, .5]) b = np.array([.5, .0, .0, 0.25, .25]) s_raw = np.array([[0,.67,.25,0.78,.53], [.53,0,.33,0.25,.25], [.45,.33,0,0.25,.25], [.85,.04,.11,0,0.25], [.95,.33,.44,0.25,0]]) s_processed = preprocess_similarity_matrix(s_raw) dist = soft_cosine_distance(a, b, s_processed)
内容的提问来源于stack exchange,提问作者Johannes Loh
相关产品推荐
相关产品推荐

