如何使用pandas按列去重并保留对应score最高的记录
按mail id保留最高score的去重实现
核心逻辑:按mail id维度分组,筛选每个分组下score值最高的完整行,剔除同分组下分数更低的重复记录。
Pandas 可复用实现代码
直接执行即可得到目标结果:
import pandas as pd # 加载原始数据,本地文件场景替换为对应读取方法即可:CSV用pd.read_csv("文件路径")、Excel用pd.read_excel("文件路径") raw_df = pd.DataFrame({ "mail id": ["xyz@yahoo.com", "abc@gmail.com", "xyz@yahoo.com", "pqr@gmail.com", "abc@gmail.com", "mno@gmail.com"], "score": [10, 13, 16, 20, 19, 24] }) # 定位每个mail id对应最高score的行索引 keep_index = raw_df.groupby("mail id")["score"].idxmax() # 提取目标行得到最终结果 result_df = raw_df.loc[keep_index].reset_index(drop=True)
运行输出结果与期望完全一致:
mail id score 0 xyz@yahoo.com 16 1 pqr@gmail.com 20 2 abc@gmail.com 19 3 mno@gmail.com 24
补充说明
- 同效果的备选实现:先将全表按score降序排列,再针对mail id列去重、保留排序后靠前的记录,代码为
raw_df.sort_values("score", ascending=False).drop_duplicates(subset="mail id", keep="first") - 若同一mail id下出现多个并列最高score的记录,两种方法默认都保留最先录入的那条;可根据实际需求调整排序规则,修改并列记录的保留优先级
- 逻辑适配所有可被Pandas读取的表格格式,无需针对不同文件类型修改核心处理流程
内容的提问来源于stack exchange,提问作者manoj kumar
相关产品推荐
相关产品推荐

