带无界分量的向量余弦相似度权重均衡解决方案咨询

问题背景 #

我的向量中多数分量取值范围为0-1（比如舞曲性、器乐性这类音乐特征），但少数分量（比如歌曲时长（毫秒）、每分钟节拍数BPM）无界且数值可能极大。计算余弦相似度时，大数值分量会主导结果，导致相似度失去实际意义。

示例向量：

a = [0.4,0.6,0.2,11100]
b = [0.2,0.8,0.1,9000]

核心需求：将无界的大数值特征映射到0-1区间，保留原分布且异常值比常见值更受重视，让所有分量在余弦相似度计算中权重相等。

我曾考虑的思路：

• 将大数值特征除以数据集最大值，但需要假设数据集能代表全球所有音乐，局限性大
• 使用核密度估计（KDE）计算CDF输出到0-1区间
• 采用sigmoid函数，但会忽略分布特征

最优解决方案 #

首选：分位数映射（Quantile Mapping） #

这是完全匹配你需求的方案，简单稳定且无参数依赖：

• 步骤1：针对时长、BPM这类目标特征，用现有数据集计算百分位数（比如0到100的百分位）
• 步骤2：将每个样本的特征值替换为它在数据集中对应的百分位比例（比如第95百分位的样本映射为0.95，第50百分位的样本映射为0.5）
• 效果：所有值落在0-1区间，完全保留原分布的相对差异，异常值（如10分钟歌曲）会被映射到接近1的高值，和常见值（如3分钟歌曲，映射值约0.5）的区分度清晰，甚至极端值的权重会因为分位数的非线性特性被强化

对现有思路的评估 #

• 除以最大值：完全不推荐，一旦出现更极端的异常值（比如1小时的歌曲），之前的所有映射值都会被大幅压缩，稳定性极差，且无法保留原分布特征
• Sigmoid函数：会抹平极端值的差异，大部分数值会被挤在中间区间，不符合你“重视异常值”的需求
• KDE+CDF：效果和分位数映射类似，但需要手动选择核函数和带宽，参数调整成本高，分位数映射无参数，鲁棒性更强

替代方案：特征标准化后计算相似度 #

如果不需要强制映射到0-1区间，可以先对每个特征单独做标准化处理（每个特征值减去该特征的均值，再除以标准差），之后再计算余弦相似度。这样每个特征的方差统一为1，不会出现某分量数值过大主导结果的情况，同时也能保留原分布和异常值的影响。

内容的提问来源于stack exchange，提问作者Sam Goldrup