ALS模型userFactors含义及结合KNN查找相似物品咨询

问题场景 #

你使用的交互数据集结构如下：

cid_int   item_id   score
  1         678      0.5
  2         787      0.6
  3         908      0.1
  .          .        .
  .          .        .

对应的ALS模型训练代码为：

als = ALS(userCol= "cid_int", itemCol= "item_id", ratingCol= "score", rank=5, maxIter=10, seed=0)
model = als.fit(X_train)

针对你提出的两个问题，解答如下：

1. model.userFactors返回内容与物品嵌入获取方式 #

• model.userFactors 仅返回用户侧的嵌入向量，不包含任何物品嵌入内容。它的返回值是一个PySpark DataFrame，仅包含两列：
  • id列：存储用户ID，对应你数据集里的cid_int字段取值
  • features列：存储长度等于你设置的rank参数值（当前代码配置为5）的浮点数组，即对应用户的隐语义嵌入向量
• 全量训练集覆盖到的物品对应的嵌入向量，需要通过model.itemFactors获取，返回结构和userFactors完全一致：id列对应item_id字段取值，features列存储对应物品的5维嵌入向量，所有在训练集中出现过的物品都能在这里查到对应向量。

2. 基于物品嵌入应用KNN查找相似物品的可行性 #

• 该方案完全可行。ALS训练产出的物品嵌入，是基于全局用户交互行为学习到的物品低维表征，向量空间内的距离直接对应物品的受众偏好重合度，非常适合用来做相似物品检索。
• 实操时注意几个细节：
  • 相似度计算优先选余弦相似度，相比欧氏距离更适配协同过滤隐向量的特性，能减少向量模长差异带来的结果偏差
  • 如果物品量级超过10万，不建议做暴力全量KNN计算，可以用局部敏感哈希、近似最近邻索引的方式降低检索耗时
  • 交互样本数少于3个的冷启动物品，嵌入训练不充分，这类物品的KNN相似结果参考价值很低，建议提前过滤

内容的提问来源于stack exchange，提问作者Chris_007