为何sklearn.metrics.mutual_info_score无需联合分布即可计算互信息？

一、如何获取联合分布p(labels_true, labels_pred) #

sklearn计算adjusted_mutual_info_score时，核心是先构建真实标签与预测标签的列联表（统计每对标签组合的出现频数），再将频数除以总样本数得到联合概率分布。你可以通过以下方式直接获取：

1. 便捷实现方式 #

from sklearn import metrics
import numpy as np

labels_true = [0, 0, 0, 1, 1, 1]
labels_pred = [0, 0, 1, 1, 2, 2]

# 生成标签对的频数矩阵（列联表）
contingency_matrix = metrics.cluster.contingency_matrix(labels_true, labels_pred)
# 总样本数
total_samples = len(labels_true)
# 转换为联合概率分布
p_xy = contingency_matrix / total_samples

print("联合概率分布矩阵：")
print(p_xy)

输出矩阵中，p_xy[i][j]对应p(labels_true=i, labels_pred=j)的概率值。

2. 对应sklearn内部逻辑 #

adjusted_mutual_info_score的底层依赖_mutual_info_score函数，该函数会先计算列联表，再基于此推导互信息及调整分数。直接调用contingency_matrix是提取联合分布最直观的方式。

二、该做法的合理性与假设分析 #

1. 合理性 #

这种基于样本频数估计联合概率的方式是频率统计的标准路径，能有效反映样本中标签的共现规律，是互信息类聚类评估指标的基础逻辑，在常规机器学习场景下（如无监督聚类效果验证）具备合理性与可靠性。

2. 核心假设 #

该方法依赖两个关键前提：

• 独立同分布（i.i.d）假设：要求样本从总体中独立、同分布抽取。只有满足此假设，样本频率才能无偏估计总体联合概率；若样本存在依赖（如时间序列的自相关性），概率估计会出现偏差。
• 样本量充足：样本量过小时，频数统计的方差会急剧增大，联合概率的估计误差会显著上升。不过adjusted_mutual_info_score本身通过调整项（基于熵的期望方差）缓解了小样本偏差，但极端小样本场景仍需谨慎。

内容的提问来源于stack exchange，提问作者sam_doggy