两个文本数据集训练测试后所得矩阵的余弦相似度计算与评估咨询

注：你提供的原始矩阵存在1处输入笔误：第三行末尾的0903遗漏了小数点，结合同列的数值量级，后续计算时需先修正为0.903，否则数值范围完全不符合模型输出的常规区间。

从第一列的取值（仅含0、1两类值）可以判断，这一列是样本的真实类别标签，剩余列是每个样本对应的特征/模型输出向量。
余弦相似度的核心作用是衡量两个向量的方向匹配程度，取值范围为[-1,1]，值越接近1代表两个向量的方向越相似，计算步骤如下：

• 第一步：剥离标签列，提取所有样本的特征向量
  从每一行中去掉第一列的标签值，剩余3个维度组成每个样本的独立特征向量，整理后如下：

  正类样本（标签=1）特征: [0.070, 0.208, 0.038]
  负类样本（标签=0）特征1: [0.030, 0.690, 0.908]
  负类样本（标签=0）特征2: [0.303, 0.900, 0.903]
  负类样本（标签=0）特征3: [0.657, 0.090, 0.909]
  

• 第二步：按照标准公式计算任意两个向量的余弦相似度
  核心公式为：两个向量的点积 / (向量A的模长 × 向量B的模长)
  以正类样本特征和第一个负类样本特征的计算为例：
  1. 计算两个向量的点积：0.070*0.030 + 0.208*0.690 + 0.038*0.908 ≈ 0.180
  2. 计算正类样本特征的模长：sqrt(0.070² + 0.208² + 0.038²) ≈ 0.223
  3. 计算对应负类样本特征的模长：sqrt(0.030² + 0.690² + 0.908²) ≈ 1.141
  4. 最终余弦相似度为：0.180 / (0.223 × 1.141) ≈ 0.71
• 常见的计算场景选择：
  • 若需要衡量任意两个样本的特征相似度：直接逐对计算上述4个特征向量的余弦相似度，得到4×4的相似度矩阵即可。
  • 若需要衡量样本的类匹配程度：可先计算每一类所有样本特征的平均向量（类原型），再计算每个样本特征和对应类原型的余弦相似度，数值越高代表样本和所属类的匹配度越好。

根据剩余列的实际含义不同，评估方向分为两类：

• 若剩余列是模型输出的分类预测概率/打分值
  • 取每行预测概率最大值对应的列作为模型的预测类别，和第一列的真实标签做对比，即可计算准确率、精确率、召回率、F1值等基础分类指标，评估模型的分类效果。
  • 可单独计算每一列的输出值和真实标签的皮尔逊相关系数，评估每个维度输出的预测区分能力。
• 若剩余列是模型输出的文本嵌入特征
  • 对比同类样本的平均余弦相似度、异类样本的平均余弦相似度：理想的嵌入效果下，同类样本的平均余弦相似度应显著高于异类样本的相似度，数值差值越大代表特征的类别区分度越好。
  • 基于提取的特征向量，使用逻辑回归、K近邻等简单分类器做交叉验证，即可评估嵌入特征整体的分类性能。

内容的提问来源于stack exchange，提问作者Umama Disha