含列表列的Pandas DataFrame重复行统计与去重解决方案

统计重复行数 #

因为列表不可哈希，没法直接用df.duplicated()，但可以临时把列表转成可哈希的元组来统计，完全不改动原DataFrame的列结构：

# 临时将B列转为元组，统计重复行数
duplicate_num = df.assign(B=df['B'].apply(tuple)).duplicated().sum()

执行后示例会返回1，原df的B列依然是列表类型，不影响后续使用。

去重操作 #

同样用临时转元组的方式判断重复，去重后保留原列表列：

# 去重，保留原列表列
df_unique = (
    df.assign(B_tuple=df['B'].apply(tuple))
    .drop_duplicates(subset=['A', 'B_tuple'])
    .drop(columns='B_tuple')
)

这个方法先新增临时的元组列用于判断重复，去重后删掉临时列，最终得到的df_unique里B列还是原来的列表格式。

另一种更简洁的去重方式 #

也可以直接用apply(tuple)作为分组依据，取每组的第一行：

df_unique = df.groupby(['A', df['B'].apply(tuple)]).first().reset_index(drop=True)

这种方式同样不会修改原列表列，最终结果和上面的方法一致。

内容的提问来源于stack exchange，提问作者M. Fire