Pandas按pair、date两列去重,调用drop_duplicates失效怎么解决?
数据集去重失效解决指南
原问题说明
你拥有名为final的数据集,结构示例如下:
pair action date 5978 ENJUSDT -13.178312 2021-07-26 5979 ETHUSDT -1.432779 2021-07-26 5980 FTMUSDT 2.981864 2021-07-26 5981 HOTUSDT 4.680739 2021-07-26 5982 IOSTUSDT -2.843013 2021-07-26 5983 IOTAUSDT 4.394158 2021-07-26 5984 NEOUSDT 4.457547 2021-07-26 5985 ONEUSDT -3.177746 2021-07-26 5986 QTUMUSDT 1.180195 2021-07-26 5987 THETAUSDT 4.784767 2021-07-26 5988 ENJUSDT -2.562182 2021-07-26 5989 ETHUSDT 2.277357 2021-07-26 5990 FTMUSDT -0.547493 2021-07-26
你的需求是移除pair和date两列取值完全相同的重复记录,每组重复项保留最后出现的行,执行如下代码后未生效:
final = final.drop_duplicates(subset=['date','pair'], keep='last')
常见原因及解决方法
- 列值存在不可见字符或格式不统一
这是最常见的失效原因:要么date列实际是带时分秒的datetime类型,仅显示时被截断为日期;要么pair列前后有空格、换行符等不可见字符,导致pandas判断两个看起来相同的值实际不相等。
解决步骤:- 统一
date列格式:如果是datetime类型,先截断到日期维度
# 方案1:转为date类型 final['date'] = final['date'].dt.date # 方案2:转为统一格式的字符串 final['date'] = final['date'].dt.strftime('%Y-%m-%d')- 清理
pair列的不可见字符
final['pair'] = final['pair'].str.strip() - 统一
- 数据集为视图未正常覆盖
若final是其他数据集的切片视图而非独立副本,修改操作可能不会正常生效,可显式生成副本:final = final.drop_duplicates(subset=['date','pair'], keep='last').copy() - 先验证是否真的存在符合条件的重复项
执行以下代码统计重复项数量,避免判断误差:# 统计符合条件的重复项总数 print(final.duplicated(subset=['date','pair']).sum()) # 输出所有重复的记录用于排查 print(final[final.duplicated(subset=['date','pair'], keep=False)])
内容的提问来源于stack exchange,提问作者Gloria Dalla Costa
相关产品推荐
相关产品推荐

