如何在fasttext中获取F1 score及了解P@1、R@1指标含义

P@1（Precision@1） #

指模型仅输出置信度最高的1个预测结果时的精确率，计算逻辑为预测正确的样本数 / 总测试样本数，代表模型输出的Top1结果的可信程度。

R@1（Recall@1） #

指模型仅输出置信度最高的1个预测结果时的召回率：

• 如果你当前的26分类是单标签场景（每个样本仅对应1个真实标签），R@1的数值和P@1完全相等，因为每个样本只有一个正确标签，预测正确的比例同时满足精确率和召回率的计算逻辑
• 如果是多标签场景（每个样本对应多个真实标签），R@1计算逻辑为真实标签被模型Top1结果命中的总数量 / 所有样本的真实标签总数量

对应F1-score（F1@1）的获取方式 #

F1是精确率和召回率的调和平均值，固定计算公式为：
F1@1 = 2 * (P@1 * R@1) / (P@1 + R@1)

你可以直接用fasttext自带的测试命令输出P@1和R@1后按公式计算，测试命令参考：
./fasttext test 你的模型文件路径 测试集文件路径 1
命令末尾的1代表取Top1预测结果计算指标，运行后会直接输出P@1和R@1的数值，带入公式即可得到F1@1。

内容的提问来源于stack exchange，提问作者Tranquil Oshan