基于KNN与Word2Vec嵌入的商户相似度识别异常问题排查

以下是几个可能导致你的KNN结果不符合预期的核心原因，按优先级排查：

• Word2Vec嵌入本身语义失效
  先单独验证Word2Vec模型的效果：用model.most_similar("运输")或model.most_similar("租赁")这类核心属性词测试，如果返回的相似词完全不相关，说明模型没学到属性词汇的正确语义关联。大概率是训练语料不足、属性词在语料中出现频率极低，或者语料里属性词的共现逻辑混乱（比如“运输”经常和完全不相关的词一起出现），导致嵌入向量本身就不具备区分度。

• 向量组合逻辑未适配业务场景
  你试过的拼接、质心、求和都是无权重的平等组合，但商户属性有主次之分——比如“运输”是主营业务属性，“线上”是运营模式属性，平等组合会稀释核心属性的影响力。另外，如果商户属性数量差异过大（比如有的商户有10个属性，有的只有2个），求和/质心会让向量分布被拉偏：属性多的商户向量维度冗余，哪怕归一化也无法消除这种分布偏移带来的距离计算误差。

• KNN的距离度量与参数选错了
  高维向量场景下，欧氏距离会陷入“维度灾难”——所有向量之间的距离都趋近于相等，导致KNN根本找不到真正相似的样本。换成余弦相似度（衡量向量方向的一致性，更贴合语义相似的需求）试试。另外，检查KNN的参数：比如是不是误设了n_neighbors？有没有启用加权KNN（给距离近的样本更高权重）？如果数据集里大部分商户都是无目标属性的样本，普通KNN会被这类“大众样本”主导，忽略少数符合条件的商户。

• 数据集本身存在问题
  先确认你认为“拥有部分共同属性的商户”真的存在于数据集里，且属性标注正确——比如有没有商户的属性填错了（本该标“运输”却标成了其他）？另外，如果数据集里符合条件的商户占比极低（比如只有1%），KNN从近邻里挑出的大概率还是占比高的无关商户。还要排查异常样本：比如有些商户的属性是乱填的，其嵌入向量成了离群点，干扰了整个KNN的距离计算逻辑。

• 归一化的时机不对
  归一化的时机直接影响结果：如果先对单个属性嵌入做归一化再组合，每个属性的权重是平等的；如果先组合向量再归一化，属性多的商户向量会被过度压缩，导致和属性少的商户的距离计算失真。可以两种方式都试一遍，对比结果差异。

内容的提问来源于stack exchange，提问作者Geetika Bansal