推荐系统评估咨询：precision@k、数据集拆分及互补推荐指标

1. precision@k中“相关物品”能否用评分阈值界定？ #

完全可以，这是显式反馈数据集（比如MovieLens）里定义“相关物品”的常用方式。以MovieLens的1-5分制为例，把评分≥4分的物品定义为用户的“相关物品”是合理的——3分属于中性评价，高于3分才代表用户真正喜欢或认可该物品。

需要注意两个细节：

• 阈值要贴合数据集特性：如果你的数据集用户评分普遍偏高（比如多数打4-5分），可以把阈值调高到4.5；如果评分分布集中在中段，3.5分也能作为分界点
• 可结合场景灵活定义：电商场景中，用户的购买、收藏、加购行为本身就是显式的“相关”信号；视频平台里，**看完时长超过80%**这类隐式行为也能用来定义相关物品，具体取决于你的业务目标

2. 为什么评估时需要拆分训练集和测试集？ #

这是为了模拟真实推荐场景的核心需求：预测用户对未接触过的物品的偏好。

你提到上线后会用全量数据生成推荐，但评估阶段的目标是验证模型的泛化能力——当模型只见过用户的一部分历史交互（训练集），它能不能准确找出用户可能喜欢但还没接触过的物品（测试集里的相关物品）。

如果用全量数据训练再评估，模型相当于“作弊”：它已经知道用户的所有交互记录，推荐结果可能全是用户已经看过/买过的物品，根本没法验证模型的真实推荐能力。拆分训练测试集的本质是模拟“用户过去行为”和“未来潜在偏好”的映射关系，只有这样评估出的指标才代表模型在真实场景中的有效性。

3. 共现关系的互补推荐的Top-N评估方法 #

互补推荐的核心是推荐和用户当前行为（比如买手机）强关联的物品（比如手机壳、充电器），评估时既要关注关联准确性，也要兼顾业务价值，常用的指标和方法包括：

• 适配共现场景的传统排序指标：
  • precision@k/recall@k：将相关物品定义为“与目标物品有高共现度的物品”（比如历史数据中买目标物品的用户同时购买的Top N物品），计算推荐列表中这类物品的占比/召回率
  • MAP@k：统计每个用户的precision@k并取平均值，兼顾所有相关物品在推荐列表中的位置，更全面反映整体推荐质量
  • NDCG@k：对排名靠前的高共现物品给予更高权重，符合推荐系统“前排位置价值更高”的特点
• 关联度专项指标：
  • 共现支持度：推荐物品与目标物品的共现次数占目标物品总交互次数的比例，衡量推荐物品和用户当前行为的关联强度
  • 置信度：购买目标物品的用户中，同时购买推荐物品的比例，进一步量化关联的可靠性
• 业务导向指标：
  • 覆盖率：推荐的互补物品覆盖的品类/款式数量，避免只推少数热门款，提升用户选择空间
  • 新颖性：推荐物品中用户从未交互过的比例，衡量模型挖掘用户潜在互补需求的能力
  • 转化率：如果有线上测试数据，统计用户点击/购买推荐互补品的比例，这是最直接的业务效果指标

内容的提问来源于stack exchange，提问作者Dharmendra Selvaratnam