You need to enable JavaScript to run this app. Python pandas分组取Top3后drop_duplicates未删重复值的原因
优惠活动
大模型
产品
解决方案
定价
更多

Python pandas分组取Top3后drop_duplicates未删重复值的原因

核心原因

  • drop_duplicates没有失效:对比前后输出,原DataFrame中第0、1行三个字段完全相同的重复记录已经被成功删除,剩余行不存在三个字段完全一致的情况。这类完全重复的记录,来自原始DataFrame中同一lowest_cumulative_price下,同一Symbol的highest_profit计算结果多次完全相同(比如不同交易日的收盘价减去当期累计最低价的差值完全一致)。
  • 你觉得结果不符合预期,本质是逻辑和参数设置偏差:
    1. 若你预期同一lowest_cumulative_price分组下同一个Symbol只保留1条记录,当前drop_duplicates的subset参数设置错误:你将highest_profit也加入了去重判断条件,只有三个字段完全一致才会删除,因此同一Symbol的不同收益值会被全部保留。
    2. 若你预期每个lowest_cumulative_price分组下的Top3是3个不同的Symbol,则是分组取Top3的逻辑有问题:你直接对组内所有原始行的收益排序取前3,没有提前按Symbol聚合去重,因此同一个Symbol的多条收益记录会被纳入Top3。

对应解决方案

场景1:仅需同一分组下每个Symbol保留最高收益1条

修改drop_duplicates的subset参数,仅用分组字段和股票代码作为去重依据,保留第一条(因nlargest是降序排列,第一条就是最高收益):

top3_df = df.drop_duplicates(subset=['lowest_cumulative_price', 'Symbol'], keep='first')

场景2:需要每个价格分组下取收益最高的3个不同Symbol

在取Top3前先按lowest_cumulative_price、Symbol聚合,提前消除同一Symbol的重复收益记录,再执行取Top3操作:

# profit calculation
df['lowest_cumulative_price'] = df.Close.cummin()
df['highest_profit'] = df.Close - df['lowest_cumulative_price']
# 先按价格、股票代码分组,取每个组合的最大收益
agg_df = df.groupby(['lowest_cumulative_price', 'Symbol'], as_index=False)['highest_profit'].max()
# 再按价格分组取每个价格下收益最高的3个股票
top3_df = agg_df.groupby('lowest_cumulative_price')['highest_profit'].nlargest(3).reset_index()

内容的提问来源于stack exchange,提问作者cerebral_assassin

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.26 16:36:03