sklearn的cohen_kappa_score仅2%标签不一致时输出0是否正确？

你得到的0.0输出是正确的，该结果和Cohen Kappa系数的计算逻辑完全匹配。

你的第一个标签序列y1所有值都是1，不存在类别为0的样本，这是出现该结果的核心原因。

Cohen Kappa的核心是在观测一致率的基础上，扣除随机标注带来的期望一致率，公式为：
κ = (pₒ - pₑ) / (1 - pₑ)
其中：

• pₒ是观测一致率：即两个标签序列实际标注一致的样本占总样本的比例，你的场景中100个样本有98个标注一致，因此pₒ = 98/100 = 0.98
• pₑ是随机期望一致率：即两个标注者完全随机按各自的标签分布标注时，期望的一致率，计算方式为各类别下两个标注者标注该类的概率乘积之和。

代入你的场景计算pₑ：
你的y1中标签为0的占比是0，标签为1的占比是1；y2中标签为0的占比是2/100=0.02，标签为1的占比是0.98，因此：
pₑ = (0 * 0.02) + (1 * 0.98) = 0.98

代入公式后分子为0.98 - 0.98 = 0，因此最终κ值为0.0。

补充说明：该场景下不适合使用Cohen Kappa作为一致性评估指标。当其中一个标签序列只有单一类别时，随机期望一致率会和观测一致率高度接近，导致Kappa值失效，这种场景直接使用标注一致率（准确率）评估即可。

内容的提问来源于stack exchange，提问作者Celso França