You need to enable JavaScript to run this app. Pandas按pair、date两列去重,调用drop_duplicates失效怎么解决?
优惠活动
大模型
产品
解决方案
定价
更多

Pandas按pair、date两列去重,调用drop_duplicates失效怎么解决?

数据集去重失效解决指南

原问题说明

你拥有名为final的数据集,结构示例如下:

pair     action      date
5978    ENJUSDT -13.178312  2021-07-26
5979    ETHUSDT  -1.432779  2021-07-26
5980    FTMUSDT   2.981864  2021-07-26
5981    HOTUSDT   4.680739  2021-07-26
5982    IOSTUSDT -2.843013  2021-07-26
5983    IOTAUSDT  4.394158  2021-07-26
5984    NEOUSDT   4.457547  2021-07-26
5985    ONEUSDT  -3.177746  2021-07-26
5986    QTUMUSDT  1.180195  2021-07-26
5987    THETAUSDT 4.784767  2021-07-26
5988    ENJUSDT  -2.562182  2021-07-26
5989    ETHUSDT   2.277357  2021-07-26
5990    FTMUSDT  -0.547493  2021-07-26

你的需求是移除pair和date两列取值完全相同的重复记录,每组重复项保留最后出现的行,执行如下代码后未生效:

final = final.drop_duplicates(subset=['date','pair'], keep='last')

常见原因及解决方法

  • 列值存在不可见字符或格式不统一
    这是最常见的失效原因:要么date列实际是带时分秒的datetime类型,仅显示时被截断为日期;要么pair列前后有空格、换行符等不可见字符,导致pandas判断两个看起来相同的值实际不相等。
    解决步骤:
    1. 统一date列格式:如果是datetime类型,先截断到日期维度
    # 方案1:转为date类型
    final['date'] = final['date'].dt.date
    # 方案2:转为统一格式的字符串
    final['date'] = final['date'].dt.strftime('%Y-%m-%d')
    
    1. 清理pair列的不可见字符
    final['pair'] = final['pair'].str.strip()
    
  • 数据集为视图未正常覆盖
    若final是其他数据集的切片视图而非独立副本,修改操作可能不会正常生效,可显式生成副本:
    final = final.drop_duplicates(subset=['date','pair'], keep='last').copy()
    
  • 先验证是否真的存在符合条件的重复项
    执行以下代码统计重复项数量,避免判断误差:
    # 统计符合条件的重复项总数
    print(final.duplicated(subset=['date','pair']).sum())
    # 输出所有重复的记录用于排查
    print(final[final.duplicated(subset=['date','pair'], keep=False)])
    

内容的提问来源于stack exchange,提问作者Gloria Dalla Costa

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.10 15:09:03