信息检索中Accuracy@k与Success@k指标是否等价？

本质上二者属于同一类检索评价指标，核心计算逻辑一致，但命名和具体场景下的判定细节会因研究而异，以下是具体分析：

1. BEIR中Accuracy@k的核心逻辑 #

从提供的代码来看，BEIR的Accuracy@k计算规则是：

• 对每个查询，先确定其所有标注为「相关」的文档集合（即qrels中分数>0的文档）
• 若该查询的前k个检索结果中，包含至少一个上述相关文档，则该查询计为「正确」
• 最终Accuracy@k = 正确查询数 / 总查询数

2. Success@k的常见定义逻辑 #

你提到的两种Success@k定义，核心逻辑和Accuracy@k完全对齐：

• 第一种：若Top-k结果中存在目标页面里被采纳/获赞（分数≥1）的答案，该查询计1分，本质是「前k包含至少一个符合要求的相关项即成功」
• 第二种：前k条结果包含标准答案字符串的查询占比，同样是「存在至少一个匹配的目标项则该查询算成功」

结论 #

二者的核心计算逻辑完全一致，都是衡量「在前k个检索结果中命中至少一个相关/目标项的查询比例」。区别仅在于不同研究场景下，对「相关/目标项」的判定标准不同（比如有的用文档相关性标注，有的用答案字符串匹配，有的用社区认可的高赞答案），以及研究人员选择的命名不同。

内容的提问来源于stack exchange，提问作者Göksenin Yüksel