You need to enable JavaScript to run this app. 如何使用pandas按列去重并保留对应score最高的记录
优惠活动
大模型
产品
解决方案
定价
更多

如何使用pandas按列去重并保留对应score最高的记录

按mail id保留最高score的去重实现

核心逻辑:按mail id维度分组,筛选每个分组下score值最高的完整行,剔除同分组下分数更低的重复记录。

Pandas 可复用实现代码

直接执行即可得到目标结果:

import pandas as pd

# 加载原始数据,本地文件场景替换为对应读取方法即可:CSV用pd.read_csv("文件路径")、Excel用pd.read_excel("文件路径")
raw_df = pd.DataFrame({
    "mail id": ["xyz@yahoo.com", "abc@gmail.com", "xyz@yahoo.com", "pqr@gmail.com", "abc@gmail.com", "mno@gmail.com"],
    "score": [10, 13, 16, 20, 19, 24]
})

# 定位每个mail id对应最高score的行索引
keep_index = raw_df.groupby("mail id")["score"].idxmax()

# 提取目标行得到最终结果
result_df = raw_df.loc[keep_index].reset_index(drop=True)

运行输出结果与期望完全一致:

mail id  score
0    xyz@yahoo.com     16
1     pqr@gmail.com     20
2     abc@gmail.com     19
3     mno@gmail.com     24

补充说明

  • 同效果的备选实现:先将全表按score降序排列,再针对mail id列去重、保留排序后靠前的记录,代码为raw_df.sort_values("score", ascending=False).drop_duplicates(subset="mail id", keep="first")
  • 若同一mail id下出现多个并列最高score的记录,两种方法默认都保留最先录入的那条;可根据实际需求调整排序规则,修改并列记录的保留优先级
  • 逻辑适配所有可被Pandas读取的表格格式,无需针对不同文件类型修改核心处理流程

内容的提问来源于stack exchange,提问作者manoj kumar

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.24 08:36:03