pandas使用copy()与drop_duplicates()去重误删仅出现一次行问题求助
核心错误定位
你的代码存在3个逻辑偏差,直接导致去重结果不符合预期:
- 去重操作的对象完全错误:执行去重时你是对全量原始df做处理,还把全量去重的结果直接赋值给dfMO,之前提取的仅含两列的dfMO副本被直接覆盖,最初的列筛选逻辑完全失效。
- 重复判断的匹配范围错误:给drop_duplicates传参subset=None时,pandas会以整行所有列的值完全一致作为重复判定标准,和你要求的“仅用Offering Family、Major Offering两列的组合判断重复”的规则完全不匹配。
- 冗余无效代码:你写的dfMO.filter(['Offering Family', 'Major Offering']) 没有把返回结果赋值回dfMO,对原DataFrame没有任何修改,不会起到任何筛选列的作用,属于可直接删除的无效代码。
另外你注释掉的dfMO.drop_duplicates(keep=False,inplace=True)如果放开运行,会把所有匹配到重复的行全部删除,连需要保留的单条有效行也会被清除,同样不符合需求。
修正后的完整可运行代码
import pandas as pd # 读取原始Excel源数据 df = pd.read_excel(pipelineEx, sheet_name='Data') # 提取目标两列生成独立副本 dfMO = df[['Offering Family', 'Major Offering']].copy() # 仅针对两列的组合值执行去重 dfMO = dfMO.drop_duplicates( subset=['Offering Family', 'Major Offering'], # 明确指定参与重复判定的列 keep='first', # 同一组合保留首次出现的行,可按需调整为'last'保留最后一条;禁止设置为keep=False,否则所有重复组合的行都会被全部删除 inplace=False ) # 输出并保存结果 print(dfMO) dfMO.to_excel("Major Offering.xlsx")
修正效果说明
- 仅当两行的Offering Family、Major Offering值完全相同时,才会被判定为重复行做删除处理
- 若两行Offering Family值相同,但Major Offering不同,会作为独立行全部保留,不会出现误删
- 输出的dfMO仅包含要求的两列,后续基于Major Offering做表合并、Offering Family转置的操作不会受影响
内容的提问来源于stack exchange,提问作者A.Bux
相关产品推荐
相关产品推荐

