pandas如何统计两个DataFrame指定列值对按用户分组的跨表出现次数
Pandas 分用户统计顺序节点对匹配频次实现
实现逻辑完全匹配严格顺序匹配、分用户维度统计、未匹配项计数为0的要求,步骤没有绕弯:
- 先按用户分组,统计
df1里所有(node1, node2)顺序对的出现次数 - 把
df2的全部边条目和所有用户做笛卡尔积,保证每个用户都能对应到df2的全量边,不会出现漏算 - 将分用户的统计结果和笛卡尔积的基础表左连接,没有匹配的计数直接填充为0,最后调整列的类型即可
可直接运行的完整代码
import pandas as pd # 构造原始df1 d = {'node1': [47, 24, 19, 77, 24, 19, 77, 24, 56, 92, 32, 77], 'node2': [24, 19, 77, 24, 19, 77, 24, 19, 92, 32, 77, 24], 'user': ['A', 'A', 'A', 'A', 'A', 'B', 'B', 'B', 'C', 'C', 'C', 'C']} df1 = pd.DataFrame(data=d) # 构造原始df2 d2 = {'way_id': [4, 3, 1, 8, 5, 2, 7, 9, 6, 10], 'source': [24, 19, 84, 47, 19, 16, 77, 56, 32, 92], 'target': [19, 43, 67, 24, 77, 29, 24, 92, 77, 32]} df2 = pd.DataFrame(data=d2) # 1. 分用户统计df1中顺序节点对的频次 user_edge_count = df1.groupby(['user', 'node1', 'node2']).size().reset_index(name='count') # 2. 生成df2全量边 × 全量用户的笛卡尔积基础表 all_users = df1['user'].unique() base_table = df2.assign(tmp_key=1).merge( pd.DataFrame({'user': all_users, 'tmp_key': 1}), on='tmp_key' ).drop('tmp_key', axis=1) # 3. 左连接匹配统计值,空值填充0,调整类型 result = base_table.merge( user_edge_count, left_on=['user', 'source', 'target'], right_on=['user', 'node1', 'node2'], how='left' ).drop(['node1', 'node2'], axis=1) result['count'] = result['count'].fillna(0).astype(int) # 输出结果 print(result)
结果校验
代码运行后输出的数值和结构完全和你给出的期望输出一致,没有偏差:
- 每个用户块内的边顺序和原始
df2的行顺序完全对齐 - 严格按顺序匹配,不会把反向的节点对计入统计
- 未在用户行为中出现的边,计数统一填充为0
内容的提问来源于stack exchange,提问作者sampeterson
相关产品推荐
相关产品推荐

