Pandas DataFrame条件去重：仅移除重复组中的'Unclear Value'行

需要实现的逻辑：

• 仅当['Name', 'Class']组合存在多条记录时，移除该组内Value为'Unclear Value'的行
• 若['Name', 'Class']组合仅对应单条记录，无论Value是什么都保留

不需要自定义优先级或迭代分组，直接用Pandas矢量化操作即可实现：

import pandas as pd

data = [['ABC','A','Good Value'], ['DEF','V','Good Value'], ['ABC','A','Unclear Value'], ['XYZ','B','Good Value'], ['LMN','N','Unclear Value'], ['JKL','M','Best Value'], ['ABC','A','Better Value'], ['JKL','M','Good Value']] 
df = pd.DataFrame(data, columns=['Name', 'Class', 'Value'])

# 计算每个(Name, Class)组合的记录数，将结果映射到原数据每一行
group_size = df.groupby(['Name', 'Class'])['Value'].transform('size')

# 筛选条件：要么是单条记录的组合，要么Value不是'Unclear Value'
filtered_df = df[(group_size == 1) | (df['Value'] != 'Unclear Value')]

print(filtered_df)

结果验证 #

运行后完全符合预期：

• 保留ABC-A组合的第1、7行，移除第3行（属于重复组合且Value为Unclear Value）
• 保留JKL-M组合的第6、8行（无Unclear Value，全部保留）
• 保留LMN-N的第5行（单条记录，即使是Unclear Value也保留）
• 其余单条组合的行全部保留

方案优势 #

1. 完全矢量化：避免循环分组的低效操作，性能远高于迭代处理
2. 逻辑精准：严格匹配需求，不会像原方案那样错误丢弃非Unclear Value的重复行
3. 无需自定义优先级：不需要额外定义Value排序规则，仅根据组合重复情况和Value类型筛选

内容的提问来源于stack exchange，提问作者Coder927