You need to enable JavaScript to run this app. pandas使用copy()与drop_duplicates()去重误删仅出现一次行问题求助
优惠活动
大模型
产品
解决方案
定价
更多

pandas使用copy()与drop_duplicates()去重误删仅出现一次行问题求助

核心错误定位

你的代码存在3个逻辑偏差,直接导致去重结果不符合预期:

  • 去重操作的对象完全错误:执行去重时你是对全量原始df做处理,还把全量去重的结果直接赋值给dfMO,之前提取的仅含两列的dfMO副本被直接覆盖,最初的列筛选逻辑完全失效。
  • 重复判断的匹配范围错误:给drop_duplicates传参subset=None时,pandas会以整行所有列的值完全一致作为重复判定标准,和你要求的“仅用Offering Family、Major Offering两列的组合判断重复”的规则完全不匹配。
  • 冗余无效代码:你写的dfMO.filter(['Offering Family', 'Major Offering']) 没有把返回结果赋值回dfMO,对原DataFrame没有任何修改,不会起到任何筛选列的作用,属于可直接删除的无效代码。
    另外你注释掉的dfMO.drop_duplicates(keep=False,inplace=True)如果放开运行,会把所有匹配到重复的行全部删除,连需要保留的单条有效行也会被清除,同样不符合需求。
修正后的完整可运行代码
import pandas as pd

# 读取原始Excel源数据
df = pd.read_excel(pipelineEx, sheet_name='Data')

# 提取目标两列生成独立副本
dfMO = df[['Offering Family', 'Major Offering']].copy()

# 仅针对两列的组合值执行去重
dfMO = dfMO.drop_duplicates(
    subset=['Offering Family', 'Major Offering'],  # 明确指定参与重复判定的列
    keep='first',  # 同一组合保留首次出现的行,可按需调整为'last'保留最后一条;禁止设置为keep=False,否则所有重复组合的行都会被全部删除
    inplace=False
)

# 输出并保存结果
print(dfMO)
dfMO.to_excel("Major Offering.xlsx")
修正效果说明
  • 仅当两行的Offering Family、Major Offering值完全相同时,才会被判定为重复行做删除处理
  • 若两行Offering Family值相同,但Major Offering不同,会作为独立行全部保留,不会出现误删
  • 输出的dfMO仅包含要求的两列,后续基于Major Offering做表合并、Offering Family转置的操作不会受影响

内容的提问来源于stack exchange,提问作者A.Bux

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.03 16:54:04