如何使用Python从CSV文件构建协同过滤所需的效用矩阵
基于Pandas构建用户-物品效用矩阵的实现方案
核心实现
无需手动遍历逐列匹配评分,Pandas内置的透视类方法可以直接基于原始长格式的CSV数据,一键生成目标结构的效用矩阵——行维度为所有去重用户、列维度为所有去重物品、单元格填充对应用户对该物品的评分值,效率远高于手动拼列的实现方式。
可直接复用的代码逻辑
- 确保原始读取的CSV对应DataFrame包含三个核心字段:用户标识列、物品标识列、评分列
- 直接调用透视方法生成矩阵,替代当前手动创建空用户DataFrame的流程:
import pandas as pd # 读取原始CSV(每行对应单条「用户-物品-评分」记录) df = pd.read_csv("你的CSV文件存储路径") # 生成目标效用矩阵 utility_matrix = df.pivot( index="User", # 自动匹配所有去重用户作为行索引,和你之前提取的r=df.User.unique()结果完全一致 columns="Item", # 自动生成所有去重物品作为列名,无需手动拼接列 values="Rating" # 单元格自动填入对应用户对该物品的评分 )
生成的矩阵会自动对没有对应评分记录的位置填充NaN,和目标样例的格式完全匹配。
现有代码的适配替换
你当前编写的代码:
r=df.User.unique() df2 = pd.DataFrame(data=r)
仅完成了用户维度的行提取,后续如果手动逐列匹配评分需要嵌套循环遍历用户和物品,不仅代码冗余,还容易出现匹配错位的问题。可以直接用上述生成的utility_matrix替换手动构建的df2,二者行维度完全对齐,还自动完成了物品列搭建和评分匹配。
常见场景参数调整
- 如果原始数据存在同一用户对同一物品的重复评分记录,调用
pivot会触发索引重复报错,此时替换为pivot_table方法,增加aggfunc="mean"参数即可自动聚合同用户同物品的平均评分完成生成 - 如果需要将无评分的空白位置填充为固定数值(如0),可在矩阵生成后执行
utility_matrix = utility_matrix.fillna(0)完成处理
内容的提问来源于stack exchange,提问作者Sangeeth Sajan
相关产品推荐
相关产品推荐

