Spark ALS隐式反馈推荐系统数据格式及缺失评分提交疑问

咱先把结论放前面：完全不需要主动提供这些“缺失”的0评分，Spark ALS在隐式偏好模式下会自动处理这类情况。

具体来说：

• 从效率角度出发：如果你的用户和物品规模较大，生成所有(user, product, 0)的缺失元组会让数据量直接爆炸——比如1万用户×1万物品就有10亿条数据，这完全不现实。Spark ALS早就考虑到了这点，它会自动将未出现在输入数据中的(user, product)对视为隐式的0权重，不需要你手动构造这些条目。
• 要区分“主动传入的0”和“缺失的0”：你主动传入的0评分是有特殊业务含义的（比如用户明确查看过某物品但没有产生任何互动），而不是代表“用户从未接触过该物品”的缺失情况。ALS会把主动传入的0当作真实的权重值，而缺失的对则会被算法默认处理为0权重。

举个简单例子：假设你的输入数据是[(1, 1, 5), (1, 2, 3)]，在implicitPrefs=True的模式下，ALS会默认用户1对物品3、4、5...的权重都是0，你完全不用手动添加(1,3,0)、(1,4,0)这类条目。

内容的提问来源于stack exchange，提问作者Tim