基于文档长度的词向量归一化：余弦相似度优化方案问询

你说的这个问题我之前做文本相似度项目时也碰到过——长文本因为词汇覆盖广，哪怕和短文本主题沾点边，余弦相似度都容易虚高，确实挺头疼的。下面是几个我亲测有效的解决思路，按实用性排序：

1. 换用语义感知的文档向量生成模型 #

这是最省心也最有效的方案，直接从根源上规避长度问题。传统的词袋+词向量平均的方式天生受文档长度影响，而专门的文档嵌入模型在训练时就已经处理了长度差异：

• Doc2Vec：它直接学习固定维度的文档向量，不管原文档是100词还是10万词，输出向量的维度完全一致，而且会考虑文档内的上下文关联，不会单纯因为词多就拉高相似度。
• Sentence-BERT/Sentence-Transformers：针对句子/文档嵌入优化的BERT变体，能生成语义一致的固定长度向量，哪怕长文档需要截断（或者用滑动窗口拼接处理），输出的向量也能准确代表文档核心语义，相似度计算基本不受长度干扰。
• 大语言模型的嵌入输出：比如GPT、Llama这类模型的[CLS] token输出或者平均池化输出，也能作为稳定的文档向量，同样是固定维度，彻底规避长度带来的偏差。

2. 优化传统词向量的生成流程 #

如果坚持用传统词袋+预训练词向量的方式，可以通过两步归一化来削弱长度影响：

• 第一步：词级归一化：先对每个词的预训练词向量做L2归一化（让每个词向量的模长为1），再用TF-IDF权重加权求和得到文档向量。这样一来，长文档里的低频无效词不会因为数量多而贡献更多权重，高频重要词的占比会被突出。
• 第二步：文档级归一化：对最终得到的文档向量再做一次L2归一化，确保所有文档向量都处于同一个单位超球面上，此时余弦相似度就完全是向量方向的相似度，和向量模长（也就是文档长度）彻底脱钩。

3. 对长文档进行词汇筛选/采样 #

人为让长文档的有效词汇量和短文档对齐，减少长度带来的词汇覆盖优势：

• Top N词汇保留：对长文档，只保留TF-IDF得分最高的N个词（N可以设为短文档的平均词汇数），再生成文档向量。这样长文档只保留核心词汇，和短文档的词汇维度对齐，相似度计算更公平。
• 加权随机采样：如果不想丢失太多信息，可以按TF-IDF权重对长文档的词汇进行加权采样，采样数量和短文档一致。这样核心词汇被选中的概率更高，同时控制了词汇总量，平衡了长短文档的词汇覆盖度。

4. 余弦相似度的后处理修正 #

如果以上方法都不适用，可以对计算出的余弦相似度进行手动修正，引入长度惩罚因子。比如用长短文档长度比值的平方根来削弱长文档的优势：

import math

def adjusted_cosine_sim(cos_sim, len_doc1, len_doc2):
    # 用长度比值的平方根作为修正因子，降低长文档的相似度虚高问题
    len_ratio = math.sqrt(min(len_doc1, len_doc2) / max(len_doc1, len_doc2))
    return cos_sim * len_ratio

不过这种方法比较偏向经验性，适合场景比较固定的情况，通用性不如前面的几种方法。

内容的提问来源于stack exchange，提问作者Peter_T