pandas按列名相同文本前缀分组实现逐行求和方法
Pandas 按列名前缀逐行聚合求和、完整保留主键列的实用方案
适用场景
对应逐行计算同类前缀列总和的实际需求:
- 原始数据为学生各细分课程挂科数记录表
- 列名遵循「学科标识+细分课程编号」的命名规则(如
math_101、math_102均属于数学学科的细分课列) - 目标为逐行汇总同一学科下所有细分课程的挂科数,生成学科维度的总挂科值,全程保留
student_id这类ID列,不出现行/列信息丢失 - 已经尝试过列名前缀匹配+groupby的思路,但没有跑出符合预期的结果
常见踩坑点
很多人第一反应会写这种代码:
# 容易出问题的写法 df.groupby(lambda col: col.split('_')[0], axis=1).sum()
这种写法的核心问题是不会自动排除ID列:比如你的ID列叫student_id,会被识别成student前缀纳入聚合计算,要么把ID列的字符串内容转成数值时报错,要么ID列被误求和成无意义的数值,最后还得手动从聚合结果里把ID列抠出来,反而增加额外操作。
可直接落地的正确实现
实现逻辑
- 预先明确划定需要保留、不参与聚合的ID列范围
- 对剩余的课程列,按自定义的前缀规则做分组映射
- 逐行计算每个前缀组的列值总和,最后和预先保留的ID列横向拼接
代码示例
import pandas as pd # 此处df为你读取的原始挂科数DataFrame # ---------------------- 配置区 ---------------------- # 明确列出需要逐行保留、不参与聚合计算的ID列 id_columns = ['student_id', 'class_id'] # 自定义列前缀提取规则:这里以列名下划线分割的第一部分作为学科标识 # 如果你的前缀是固定长度(如列名以SUB开头的前5位作为学科标识),可修改为 lambda col: col[:5] def get_col_prefix(col_name): return col_name.split('_')[0] # --------------------------------------------------- # 拆分列集合,把ID列和需要聚合的课程列分开 non_id_columns = [col for col in df.columns if col not in id_columns] # 构建「前缀-对应列列表」的映射关系 prefix_col_mapping = {} for col in non_id_columns: prefix = get_col_prefix(col) if prefix not in prefix_col_mapping: prefix_col_mapping[prefix] = [] prefix_col_mapping[prefix].append(col) # 逐行计算每个前缀组的总和,和ID列横向拼接得到最终结果 aggregated_df = pd.concat( [ df[id_columns], pd.DataFrame( {prefix: df[col_list].sum(axis=1) for prefix, col_list in prefix_col_mapping.items()} ) ], axis=1 )
效果验证
按照这个逻辑跑出来的结果会满足核心要求:
- 所有预先指定的ID列完整保留,没有被纳入聚合计算,字符串类型的ID值不会被错误转换
- 计算逻辑是对每个前缀列组执行
sum(axis=1),沿着列方向逐行计算求和,行顺序和原始数据完全一致,不会打乱原有记录的对应关系 - 自动兼容只有单门细分课的学科列,不需要额外写判断逻辑
内容的提问来源于stack exchange,提问作者Matthi9000
相关产品推荐
相关产品推荐

