Python pandas分组取Top3后drop_duplicates未删重复值的原因
核心原因
drop_duplicates没有失效:对比前后输出,原DataFrame中第0、1行三个字段完全相同的重复记录已经被成功删除,剩余行不存在三个字段完全一致的情况。这类完全重复的记录,来自原始DataFrame中同一lowest_cumulative_price下,同一Symbol的highest_profit计算结果多次完全相同(比如不同交易日的收盘价减去当期累计最低价的差值完全一致)。- 你觉得结果不符合预期,本质是逻辑和参数设置偏差:
- 若你预期同一
lowest_cumulative_price分组下同一个Symbol只保留1条记录,当前drop_duplicates的subset参数设置错误:你将highest_profit也加入了去重判断条件,只有三个字段完全一致才会删除,因此同一Symbol的不同收益值会被全部保留。 - 若你预期每个
lowest_cumulative_price分组下的Top3是3个不同的Symbol,则是分组取Top3的逻辑有问题:你直接对组内所有原始行的收益排序取前3,没有提前按Symbol聚合去重,因此同一个Symbol的多条收益记录会被纳入Top3。
- 若你预期同一
对应解决方案
场景1:仅需同一分组下每个Symbol保留最高收益1条
修改drop_duplicates的subset参数,仅用分组字段和股票代码作为去重依据,保留第一条(因nlargest是降序排列,第一条就是最高收益):
top3_df = df.drop_duplicates(subset=['lowest_cumulative_price', 'Symbol'], keep='first')
场景2:需要每个价格分组下取收益最高的3个不同Symbol
在取Top3前先按lowest_cumulative_price、Symbol聚合,提前消除同一Symbol的重复收益记录,再执行取Top3操作:
# profit calculation df['lowest_cumulative_price'] = df.Close.cummin() df['highest_profit'] = df.Close - df['lowest_cumulative_price'] # 先按价格、股票代码分组,取每个组合的最大收益 agg_df = df.groupby(['lowest_cumulative_price', 'Symbol'], as_index=False)['highest_profit'].max() # 再按价格分组取每个价格下收益最高的3个股票 top3_df = agg_df.groupby('lowest_cumulative_price')['highest_profit'].nlargest(3).reset_index()
内容的提问来源于stack exchange,提问作者cerebral_assassin
相关产品推荐
相关产品推荐

