pandas统计DataFrame中serialNum列各用户对应非重复元素个数的方法
实现方案
方案1:explode + 去重统计(逻辑直观易维护)
通过拆分列表为单行单元素、去重后分组计数,完全基于pandas内置方法实现:
import pandas as pd import numpy as np # 原始数据构造 data = {'userName': {0: 'john', 1: 'amanda', 2: 'sara', 3: 'john'}, 'serialNum': {0: '[a4G, bweQ, fp_dE4]', 1:'' , 2: '[H2dw45, IfC4, bAf23g, Lkfr54-op, a3dLa]', 3: '[Tr45b, kM30, a4G, riU91]'}} df = pd.DataFrame(data) # 预处理:清洗格式、拆分列表、空值填充 df['serialNum'] = df['serialNum'].str.strip('[]')\ .str.replace(r"['\"]", "", regex=True)\ .replace('', np.nan)\ .str.split(',')\ .fillna({i: [] for i in df.index}) # 非重复值统计 df_count = df.explode('serialNum')\ .drop_duplicates(subset=['userName', 'serialNum'])\ .groupby('userName', sort=False)['serialNum']\ .count()\ .reindex(df['userName'].unique(), fill_value=0)\ .reset_index(name='count')
输出结果完全符合预期:
| userName | count |
|---|---|
| john | 6 |
| amanda | 0 |
| sara | 5 |
方案2:分组聚合直接统计(代码更简洁)
直接对同用户的所有序列号拼接后去重取长度,无需拆分多行:
df_count = df.groupby('userName', sort=False)['serialNum']\ .sum()\ .apply(lambda x: len(pd.unique(x)))\ .reset_index(name='count')
原代码问题说明
原有逻辑是直接对每行的列表长度求和,没有过滤跨行的重复序列号(例:john的两条记录中都出现了a4G,被重复统计了1次),以上两种方案都解决了跨行去重的问题。
内容的提问来源于stack exchange,提问作者WhoIsKi
相关产品推荐
相关产品推荐

