基于K-Means的说话人识别结果疑问及准确率验证方法咨询

我来一步步帮你拆解这些问题：

这组数字对应前面的聚类簇ID [0 1 2]，代表每个聚类簇包含的特征样本数量：

• 簇0有33个特征样本
• 簇1有32个特征样本
• 簇2有74个特征样本

这里的“特征样本”应该是你用CNN从对话音频中提取的片段级特征——比如你可能把整段.wav按固定时长（比如10ms/20ms）切分成了很多小片段，每个片段用CNN提取一组特征，K-Means就是对这些片段特征做的聚类。

K-Means是无监督算法，它完全不知道“说话人”这个概念，只会根据特征相似度分组，所以没法直接自动对应到说话人。你需要手动/半自动完成映射，步骤如下：

• 第一步：准备真实标签：把你测试的这段对话，按和特征提取时相同的片段粒度，标注每个片段属于哪个说话人（比如0=客服、1=客户、2=静音/噪声——这也是你设3个聚类中心的原因吧？）。
• 第二步：统计簇内标签分布：对每个聚类簇，统计里面各说话人标签的占比。比如簇2的74个样本里，如果有70个都是客服的片段，那这个簇就对应客服；簇0和1如果分别对应客户和噪声，就完成了映射。
• 更严谨的方法：如果簇和标签的对应关系不直观，可以用匈牙利算法找到聚类结果和真实标签的最优匹配（最小化分类错误），解决簇ID和说话人ID不对应的问题（比如K-Means把客服分到了簇2，但你标注的客服是0，这时候需要做映射）。

针对说话人识别/ diarization 场景，推荐结合以下几种方法：

• 基础准确率计算

  1. 先完成上面的簇到说话人的映射
  2. 统计正确分类的片段数除以总片段数，得到片段级准确率
  3. 如果需要更贴合实际场景，可以计算时长级准确率：把每个片段的时长加权，正确分类的总时长除以对话总时长

• 无监督聚类专用指标
  因为K-Means是无监督的，用传统准确率可能受簇和标签的映射影响，推荐用：

  • 调整兰德指数（ARI）：衡量聚类结果和真实标签的一致性，取值范围[-1,1]，越接近1说明聚类效果越好
  • 归一化互信息（NMI）：同样衡量两个标签分布的相似度，取值范围[0,1]，值越高越好
    这两个指标不需要手动映射簇和说话人ID，直接就能评估聚类质量，代码里可以用sklearn.metrics.adjusted_rand_score()和sklearn.metrics.normalized_mutual_info_score()来计算

• 说话人 diarization 标准指标
  如果你的任务是说话人分段（把对话里的每个时间段对应到说话人），可以用Diarization Error Rate（DER），它会计算三类错误：

  • 说话人混淆错误（把A的语音分到B）
  • 假阳性错误（把静音/噪声识别人声）
  • 漏检错误（把人声识别成静音）
    DER越低，说明系统性能越好，这是工业界和学术圈的标准评估指标

内容的提问来源于stack exchange，提问作者Learner