如何衡量基于TF-IDF和FastText的余弦相似度模型的准确率？

1. 先锚定你的任务场景与评估基准 #

文档相似度的“好效果”取决于具体需求，先明确任务类型：

• 若是重复/近似文档检测：需要标注一批明确的“相似文档对”和“不相似文档对”
• 若是主题匹配/语义相关度判断：需要人工标注文档对的相关度评分（比如1-5分，1代表完全不相关，5代表高度相关）

2. 选择适配的评估指标 #

分类类任务（判断相似/不相似） #

• 准确率（Accuracy）：设定一个相似度阈值（比如0.5），将得分高于阈值判定为“相似”，低于则为“不相似”，计算正确分类的样本占比。注意：如果相似样本占比极低，准确率会失真，不建议单独使用。
• 精确率（Precision）、召回率（Recall）、F1值：
  • 精确率：模型判定为相似的样本中，真实相似的比例
  • 召回率：所有真实相似的样本中，被模型识别出来的比例
  • F1值：精确率和召回率的调和平均，更适合样本不均衡的场景
• ROC-AUC：无需固定阈值，评估模型在所有可能阈值下的区分能力，数值越接近1，模型区分相似/不相似的能力越强

回归类任务（量化相关度） #

• 皮尔逊相关系数：计算模型输出的相似度分数与人工标注的相关度评分之间的线性相关性，值越接近1，说明模型结果和人工判断的一致性越高
• MAE/MSE：平均绝对误差/均方误差，衡量模型分数与人工标注的偏差大小，数值越小越好

3. 具体执行步骤 #

• 构建测试数据集：从你的n份文档中挑选有代表性的样本，人工标注文档对的真实关系（分类标签或评分），样本要覆盖不同主题、长度的文档，避免偏差
• 生成模型预测结果：用两个模型分别计算测试集中所有文档对的余弦相似度分数
• 计算并对比指标：根据任务类型选择对应指标，计算两个模型的得分，直接对比数值高低
• 阈值调优（分类任务）：如果用准确率、F1等指标，要尝试不同的相似度阈值，找到每个模型的最优阈值后再对比，避免因阈值选择不当影响结果

4. 额外参考维度 #

除了量化指标，还可以做定性分析：

• 抽取模型判断错误的样本，分析是TF-IDF更擅长捕捉关键词匹配，还是FastText更能理解语义（比如同义词、跨表述的主题匹配场景）
• 考虑计算效率：FastText的向量生成速度通常比TF-IDF更快，尤其是处理大规模文档时，如果性能差距不大，效率也是重要选择依据

内容的提问来源于stack exchange，提问作者Nadzz