多标签分类中0-1标签下精确率与召回率计算及阈值设置问询

1. 精确率与召回率的计算方式 #

这类场景中，真实标签和模型预测值都是0-1的连续值，但精确率、召回率是基于**硬标签（是否判定为目标类型）**计算的，步骤如下：

1. 先将连续值转成硬标签：
   • 真实标签：设定阈值，当某产品类型的点击占比≥阈值时，判定为该query的真实目标类型（正标签）；反之则为负标签。
   • 预测值：同样设定阈值，当模型预测值≥阈值时，判定为模型推荐的类型（正标签）；反之则为负标签。
2. 计算维度分为两种：
   • 样本级：针对单个query，统计「预测正确的正标签数」「模型预测的正标签总数」「真实的正标签总数」，然后：
     • 精确率 = 预测正确的正标签数 / 模型预测的正标签总数
     • 召回率 = 预测正确的正标签数 / 真实的正标签总数
   • 全局统计：通常用两种平均方式汇总所有样本的结果：
     • 宏平均：对每个产品类型单独计算精确率/召回率，再取所有类型的算术平均值。
     • 微平均：把所有样本的标签合并成一个全局混淆矩阵，再计算整体的精确率/召回率。

2. 是否需要阈值机制？ #

必须采用阈值机制。因为模型输出的是0-1的连续概率/得分，只有通过阈值才能将其转换成「是否推荐该产品类型」的二元判定结果；同时真实的点击占比标签也需要阈值来明确「该产品类型是否属于query的真实意图」，否则无法构建混淆矩阵来计算精确率和召回率。

3. 各标签的阈值是否可以不同？ #

可以相同，也可以根据类别差异化设置，两种方式各有适用场景：

• 统一阈值：实现简单，适合各产品类型的点击行为分布差异较小的场景，比如所有类型的用户点击占比范围接近。
• 差异化阈值：更贴合实际业务，因为不同产品类型的热度、用户点击习惯差异极大——比如热门类型的点击占比普遍偏高，冷门类型的点击占比普遍偏低，用统一阈值会导致冷门类型的召回率极低。这种情况下可以为每个类别单独设定阈值。

4. 阈值设置的最佳实践 #

• 对齐业务目标：如果业务优先保证召回（不想漏掉潜在的用户需求），就降低阈值；如果优先保证精确率（避免推荐无关类型影响体验），就提高阈值。
• 基于验证集选最优阈值：在验证集上测试不同阈值，选取能最大化F1分数（或业务核心指标）的阈值；如果是差异化阈值，就针对每个类别单独做这个优化。
• 参考真实标签分布：比如用真实点击占比的中位数、或90分位数作为阈值，贴合用户实际的点击行为习惯。
• 动态校准阈值：如果用户点击行为随时间变化（比如大促、节日期间），定期用最新的验证数据重新调整阈值。
• 避免极端阈值：不要把阈值设为0（所有类型都被推荐，精确率极低）或1（几乎无类型被推荐，召回率为0），要在精确率和召回率之间找平衡。

内容的提问来源于stack exchange，提问作者nightfury