You need to enable JavaScript to run this app. Pandas字符串列去重:含重复逗号分隔项时仅保留首个的实现问题
优惠活动
大模型
产品
解决方案
定价
更多

Pandas字符串列去重:含重复逗号分隔项时仅保留首个的实现问题

异常根因定位
  • 原代码没有按照逗号粒度拆分字符串:当把完整字符串传入unique_string函数时,Python会把字符串当成可迭代对象,逐字符遍历,所以才会出现把"Search,"拆成单个字母逐一去重的异常结果。
  • 原逻辑遗漏了两个核心处理环节:先按逗号拆分独立条目、拆分后对条目做去重再重新拼接为字符串。
修正后的实现方案

首先替换有缺陷的自定义函数,兼容带空格、空值的边界场景:

def deduplicate_repeated_entries(input_str):
    # 按逗号拆分原始字符串,同时清除每个条目前后的多余空格
    raw_split = [entry.strip() for entry in str(input_str).split(',')]
    kept_entries = []
    for entry in raw_split:
        # 过滤空值,仅保留首次出现的条目
        if entry and entry not in kept_entries:
            kept_entries.append(entry)
    # 按原始数据的格式,用逗号加空格拼接回标准字符串
    return ', '.join(kept_entries)

接着把修正后的函数应用到对应DataFrame列:

# 遍历所有需要去重的逗号分隔型字段,批量处理避免重复写代码
process_columns = ['channel', 'order_name', 'discount_code', 'product_variant']
for col in process_columns:
    customer_df[col] = customer_df[col].apply(deduplicate_repeated_entries)
处理效果匹配
  • 重复值场景:比如原channel值为"Instagram, Instagram"、discount_code值为"Christmas2020, Christmas2020"、order_name值为"#1100,#1100",处理后会自动去掉重复,仅保留首次出现的单条目
  • 非重复场景:比如product_variant值为"Avengers Set A, Avengers Set B",因为两个条目完全不重复,处理后会原样保留内容,不会误删
  • 边界兼容:自动处理带前后空格、空值的异常输入,不会抛出拆分报错

内容的提问来源于stack exchange,提问作者Luc

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 05:36:02