关于实体链接中Recall、Precision计算及TP/TN/FP/FN获取的技术问询

嘿，这个问题我刚做实体链接项目的时候也卡过好久！其实只要把实体消歧的实际场景和这四个指标一一对应，就完全通了——咱们先把每个指标拆解开，结合实体链接的具体情况说：

先明确前提：实体消歧的两类核心情况 #

实体消歧里，我们面对的文本提及（mention）其实分两种：

1. 需要链接到知识库实体的提及（比如文本里的“乔布斯”，对应知识库的“史蒂夫·乔布斯”实体）
2. 不需要链接的普通提及（比如文本里的“苹果”如果指水果，不是实体，不需要链接）

接下来对应四个指标：

True Positive (TP) - 真阳性 #

• 场景：模型正确地把一个需要链接的提及，关联到了知识库中对应的目标实体。
• 例子：文本里的“苹果”指苹果公司，模型成功链接到知识库的“Apple Inc.”实体，这就是TP。

False Positive (FP) - 假阳性 #

• 场景：模型错误地给一个提及做了链接——要么是把不需要链接的普通提及当成了实体链接，要么是把需要链接的提及链接到了错误的实体。
• 例子1：文本里的“苹果”指水果，模型却把它链接到了“Apple Inc.”，这是FP；
• 例子2：文本里的“乔布斯”指史蒂夫·乔布斯，模型却链接到了另一个同名的普通人实体，这也是FP。

False Negative (FN) - 假阴性 #

• 场景：模型漏掉了一个需要链接的提及——也就是这个提及本来应该关联到知识库实体，但模型没识别出它是需要链接的实体，或者识别到了但没给出正确链接（通常在计算时，只要没正确链接就算FN）。
• 例子：文本里的“苹果”指苹果公司，但模型没把它当成实体提及，完全没做链接，这就是FN。

True Negative (TN) - 真阴性 #

• 场景：模型正确地判断一个提及不需要链接到任何知识库实体。
• 例子：文本里的“苹果”指水果，模型准确识别出这是普通名词，不做链接，这就是TN。

再对应Recall和Precision的计算 #

搞懂四个指标后，计算就简单了：

• Precision（精确率）：衡量模型链接的结果里正确的比例 → Precision = TP / (TP + FP)
• Recall（召回率）：衡量模型把所有该链接的实体都找出来的比例 → Recall = TP / (TP + FN)

这里补充一句：TN在实体链接的常用评估里其实用得不多，因为大部分场景我们更关注实体链接的准确性和召回率，而不是“正确判断非实体”的比例，但为了完整对应四个混淆矩阵的情形，还是要明确它的场景~

内容的提问来源于stack exchange，提问作者Carry Chen