Python如何对pandas DataFrame列表列每行内的字符串去重
实现方案
你可以直接通过pandas的apply方法对contains列的每个列表做去重处理,分两种场景可选:
场景1:不需要保留列表内元素的原有顺序
直接转集合去重后再转回列表,写法最简单:
import pandas as pd # 直接对contains列的每个列表做去重 df['contains'] = df['contains'].apply(lambda x: list(set(x)))
场景2:需要保留列表内元素的原有出现顺序
Python 3.7及以上版本字典默认保留插入顺序,用dict.fromkeys实现有序去重:
df['contains'] = df['contains'].apply(lambda x: list(dict.fromkeys(x)))
兼容空值/非列表值的优化写法
如果你的数据集里可能存在空值或者非列表格式的异常值,可以加个类型判断避免报错:
# 有序去重兼容版 df['contains'] = df['contains'].apply(lambda x: list(dict.fromkeys(x)) if isinstance(x, list) else x) # 无序去重兼容版 # df['contains'] = df['contains'].apply(lambda x: list(set(x)) if isinstance(x, list) else x)
内容的提问来源于stack exchange,提问作者YanRemes
相关产品推荐
相关产品推荐

