Pandas合并同结构DataFrame的labels列并修复异常逗号问题

示例场景 #

假设有两个结构完全一致的DataFrame：

import pandas as pd

df1 = pd.DataFrame({'id': [1, 2], 'labels': ['1,2', '2']})
df2 = pd.DataFrame({'id': [1, 2], 'labels': ['2,3', '3']})

目标是按id合并，对labels列的标签求并集，得到如下结果：

问题原因 #

你遇到的,3这类异常逗号，通常是因为处理过程中没有过滤空字符串元素：

• 当某行的labels为空，或拼接后出现开头/结尾逗号时，split(',')会生成空字符串
• 去重时如果保留了空字符串，最终join就会产生多余的前导/尾随逗号

正确修复代码 #

以下是可靠的实现方式，核心是拆分标签时过滤空元素，确保最终拼接无冗余逗号：

import pandas as pd

df1 = pd.DataFrame({'id': [1, 2], 'labels': ['1,2', '2']})
df2 = pd.DataFrame({'id': [1, 2], 'labels': ['2,3', '3']})

# 合并两个DataFrame并按id分组
combined = pd.concat([df1, df2]).groupby('id')['labels'].agg(list).reset_index()

def merge_unique_labels(label_list):
    # 遍历所有标签字符串，拆分、去空、去重（保留出现顺序）
    all_valid_labels = []
    for lbl_str in label_list:
        # 拆分后过滤空字符串，同时去除标签前后空格
        valid_lbls = [lbl.strip() for lbl in lbl_str.split(',') if lbl.strip()]
        all_valid_labels.extend(valid_lbls)
    # 用dict.fromkeys去重并保持原顺序（若无需顺序可改用set）
    unique_lbls = list(dict.fromkeys(all_valid_labels))
    return ','.join(unique_lbls)

# 应用处理函数
combined['labels'] = combined['labels'].apply(merge_unique_labels)

print(combined)

代码关键点 #

1. 合并与分组：用pd.concat合并两个DataFrame，再按id把同一组的labels收集成列表
2. 过滤空元素：拆分标签时通过if lbl.strip()排除空字符串和纯空格的标签
3. 有序去重：dict.fromkeys既能去重，又能保留标签首次出现的顺序（如果不需要顺序，直接用set(all_valid_labels)即可）
4. 安全拼接：最终用','.join拼接时，所有元素都是有效标签，不会产生多余逗号

简洁写法（可选） #

如果追求代码简洁，可将处理函数简化为列表推导式：

def merge_unique_labels(label_list):
    unique_lbls = list(dict.fromkeys(
        lbl.strip() 
        for lbl_str in label_list 
        for lbl in lbl_str.split(',') 
        if lbl.strip()
    ))
    return ','.join(unique_lbls)

内容的提问来源于stack exchange，提问作者You_Donut