股票二分类趋势预测：Accuracy/AUC/F1评估指标选型咨询

首先明确任务边界：

Class 0: 个股当日收益 >= 全市场当日收益中位数（做多标的）
Class 1: 个股当日收益 < 全市场当日收益中位数（做空标的）

• 数据集天然类别均衡，两类样本占比基本1:1
• 策略逻辑不依赖固定分类阈值，完全按模型输出的概率排序，取多头概率最高的10只买入、空头概率最高的10只做空
• 多空两端的预测错误成本完全对等，没有偏向某一类的需求

三个候选指标的适配性分析 #

直接给结论：三个指标里优先选AUC-ROC，另外两个和你的策略逻辑匹配度极低，原因如下：

• 直接排除Accuracy
  Accuracy统计的是固定分类阈值（默认0.5）下全样本判对的比例，对你的策略几乎没有参考价值。最典型的反例：模型可能把大量收益落在中位数附近、涨跌模糊的样本判得很准，把整体Accuracy拉到60%以上，但概率排最前10、最后10的标的排序完全混乱，你实盘买在头部、空在尾部照样亏钱。它完全无法刻画你最关心的「概率排序质量」，哪怕类别均衡也不适合当核心筛选指标。
• 不推荐用F1-Score当核心指标
  F1是固定阈值下精确率和召回率的调和平均，相比Accuracy确实更兼顾两类的错判，但本质还是「阈值依赖」的分类指标，和你「按排序取头尾」的策略逻辑不匹配。举个很实在的例子：模型A在0.5阈值下F1有0.65，但概率最高的10只里混了4只Class1、最低的10只里混了4只Class0；模型B在0.5阈值下F1只有0.6，但概率最高的10只全是Class0、最低的10只全是Class1。对你的策略来说模型B实盘收益会远高于A，但F1指标会优先选A，完全选反。
• AUC-ROC是三个指标里最适配的
  先纠正一个常见误区：AUC-ROC不是只有类别不平衡场景才能用。它的物理意义非常直白：随机抽一只Class0样本、一只Class1样本，模型给Class0样本打的概率高于Class1样本的概率，本质衡量的就是模型输出概率的全局排序能力，和分类阈值无关，和类别占比也没有强制绑定关系——这个特性刚好完全匹配你的策略需求：你不需要模型给全市场每只股票做涨跌二选一的判断，只需要它把最可能涨的排到最前面、最可能跌的排到最后面，AUC越高，说明这个排序的整体可靠性越强，你选的头尾10只标的的胜率预期就越高。

实操补充建议 #

• 离线分类指标只能做初筛，最终选模一定要加和策略完全对齐的回测指标：每天按模型输出的Class0概率分10组，统计最高组（多头候选）的平均超额收益、最低组（空头候选）的平均超额收益，以及多空对冲组合的日胜率、夏普比率，这个比纯分类指标的参考价值高得多
• 你的策略不需要过度纠结概率校准度：只要模型输出的概率排序是对的，哪怕某只票打0.9的上涨概率实际胜率只有0.6，也不影响你选它当多头，不用花额外精力做概率校准
• 因为你的数据集是类别均衡的，不需要特意换AUC-PR，AUC-ROC的结果不会被大量真阴性样本带偏，结果足够可靠

内容的提问来源于stack exchange，提问作者LukeMahn