Pandas字符串列去重:含重复逗号分隔项时仅保留首个的实现问题
异常根因定位
- 原代码没有按照逗号粒度拆分字符串:当把完整字符串传入
unique_string函数时,Python会把字符串当成可迭代对象,逐字符遍历,所以才会出现把"Search,"拆成单个字母逐一去重的异常结果。 - 原逻辑遗漏了两个核心处理环节:先按逗号拆分独立条目、拆分后对条目做去重再重新拼接为字符串。
修正后的实现方案
首先替换有缺陷的自定义函数,兼容带空格、空值的边界场景:
def deduplicate_repeated_entries(input_str): # 按逗号拆分原始字符串,同时清除每个条目前后的多余空格 raw_split = [entry.strip() for entry in str(input_str).split(',')] kept_entries = [] for entry in raw_split: # 过滤空值,仅保留首次出现的条目 if entry and entry not in kept_entries: kept_entries.append(entry) # 按原始数据的格式,用逗号加空格拼接回标准字符串 return ', '.join(kept_entries)
接着把修正后的函数应用到对应DataFrame列:
# 遍历所有需要去重的逗号分隔型字段,批量处理避免重复写代码 process_columns = ['channel', 'order_name', 'discount_code', 'product_variant'] for col in process_columns: customer_df[col] = customer_df[col].apply(deduplicate_repeated_entries)
处理效果匹配
- 重复值场景:比如原
channel值为"Instagram, Instagram"、discount_code值为"Christmas2020, Christmas2020"、order_name值为"#1100,#1100",处理后会自动去掉重复,仅保留首次出现的单条目 - 非重复场景:比如
product_variant值为"Avengers Set A, Avengers Set B",因为两个条目完全不重复,处理后会原样保留内容,不会误删 - 边界兼容:自动处理带前后空格、空值的异常输入,不会抛出拆分报错
内容的提问来源于stack exchange,提问作者Luc
相关产品推荐
相关产品推荐

