求助:DataFrame按指定列分组,保留col5绝对值最大行并保留其他列
解决方案
原代码错误原因
你写的代码里,groupby.agg([lambda x: max(x,key=abs)]) 返回的是一个带多级列索引的DataFrame,而loc只能接收一维的索引值或布尔数组,因此会抛出Cannot index with multidimensional key错误。
内存友好的实现方法
针对大规模数据集,推荐两种低内存占用的方案:
方案1:用transform匹配组内绝对值最大值(保留同组内所有绝对值最大的行)
# 计算每个(col1, col4)组内col5绝对值的最大值,返回与原DataFrame等长的数组 group_max_abs = results_df.groupby(['col1', 'col4'])['col5'].transform(lambda x: x.abs().max()) # 筛选出col5绝对值等于组内最大值的行,自动保留col2、col3列 results_abs_df = results_df[results_df['col5'].abs() == group_max_abs]
这个方法无需创建额外的大对象,transform直接在原数据的维度上计算,内存占用极低。如果组内存在多个绝对值相同的最大值行,会全部保留。
方案2:用idxmax取组内绝对值最大的行的索引(仅保留每组第一个绝对值最大的行)
# 对col5取绝对值后,按(col1, col4)分组,获取每组绝对值最大的行的索引 max_abs_idx = results_df['col5'].abs().groupby([results_df['col1'], results_df['col4']]).idxmax() # 通过索引直接提取目标行,自动包含所有列 results_abs_df = results_df.loc[max_abs_idx]
这个方法内存占用更优:idxmax返回的是每组一个索引值,总长度等于分组的数量,远小于原DataFrame的行数,适合超大规模数据集。如果组内有多个绝对值相同的最大值,会保留排序靠前的那一行。
内容的提问来源于stack exchange,提问作者1288Meow
相关产品推荐
相关产品推荐

