You need to enable JavaScript to run this app. Python如何对pandas DataFrame列表列每行内的字符串去重
优惠活动
大模型
产品
解决方案
定价
更多

Python如何对pandas DataFrame列表列每行内的字符串去重

实现方案

你可以直接通过pandas的apply方法对contains列的每个列表做去重处理,分两种场景可选:

场景1:不需要保留列表内元素的原有顺序

直接转集合去重后再转回列表,写法最简单:

import pandas as pd

# 直接对contains列的每个列表做去重
df['contains'] = df['contains'].apply(lambda x: list(set(x)))

场景2:需要保留列表内元素的原有出现顺序

Python 3.7及以上版本字典默认保留插入顺序,用dict.fromkeys实现有序去重:

df['contains'] = df['contains'].apply(lambda x: list(dict.fromkeys(x)))

兼容空值/非列表值的优化写法

如果你的数据集里可能存在空值或者非列表格式的异常值,可以加个类型判断避免报错:

# 有序去重兼容版
df['contains'] = df['contains'].apply(lambda x: list(dict.fromkeys(x)) if isinstance(x, list) else x)

# 无序去重兼容版
# df['contains'] = df['contains'].apply(lambda x: list(set(x)) if isinstance(x, list) else x)

内容的提问来源于stack exchange,提问作者YanRemes

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.09 20:24:01