You need to enable JavaScript to run this app. pandas按列名相同文本前缀分组实现逐行求和方法
优惠活动
大模型
产品
解决方案
定价
更多

pandas按列名相同文本前缀分组实现逐行求和方法

Pandas 按列名前缀逐行聚合求和、完整保留主键列的实用方案

适用场景

对应逐行计算同类前缀列总和的实际需求:

  • 原始数据为学生各细分课程挂科数记录表
  • 列名遵循「学科标识+细分课程编号」的命名规则(如math_101、math_102均属于数学学科的细分课列)
  • 目标为逐行汇总同一学科下所有细分课程的挂科数,生成学科维度的总挂科值,全程保留student_id这类ID列,不出现行/列信息丢失
  • 已经尝试过列名前缀匹配+groupby的思路,但没有跑出符合预期的结果

常见踩坑点

很多人第一反应会写这种代码:

# 容易出问题的写法
df.groupby(lambda col: col.split('_')[0], axis=1).sum()

这种写法的核心问题是不会自动排除ID列:比如你的ID列叫student_id,会被识别成student前缀纳入聚合计算,要么把ID列的字符串内容转成数值时报错,要么ID列被误求和成无意义的数值,最后还得手动从聚合结果里把ID列抠出来,反而增加额外操作。

可直接落地的正确实现

实现逻辑

  1. 预先明确划定需要保留、不参与聚合的ID列范围
  2. 对剩余的课程列,按自定义的前缀规则做分组映射
  3. 逐行计算每个前缀组的列值总和,最后和预先保留的ID列横向拼接

代码示例

import pandas as pd

# 此处df为你读取的原始挂科数DataFrame
# ---------------------- 配置区 ----------------------
# 明确列出需要逐行保留、不参与聚合计算的ID列
id_columns = ['student_id', 'class_id']
# 自定义列前缀提取规则:这里以列名下划线分割的第一部分作为学科标识
# 如果你的前缀是固定长度(如列名以SUB开头的前5位作为学科标识),可修改为 lambda col: col[:5]
def get_col_prefix(col_name):
    return col_name.split('_')[0]
# ---------------------------------------------------

# 拆分列集合,把ID列和需要聚合的课程列分开
non_id_columns = [col for col in df.columns if col not in id_columns]

# 构建「前缀-对应列列表」的映射关系
prefix_col_mapping = {}
for col in non_id_columns:
    prefix = get_col_prefix(col)
    if prefix not in prefix_col_mapping:
        prefix_col_mapping[prefix] = []
    prefix_col_mapping[prefix].append(col)

# 逐行计算每个前缀组的总和,和ID列横向拼接得到最终结果
aggregated_df = pd.concat(
    [
        df[id_columns],
        pd.DataFrame(
            {prefix: df[col_list].sum(axis=1) for prefix, col_list in prefix_col_mapping.items()}
        )
    ],
    axis=1
)

效果验证

按照这个逻辑跑出来的结果会满足核心要求:

  • 所有预先指定的ID列完整保留,没有被纳入聚合计算,字符串类型的ID值不会被错误转换
  • 计算逻辑是对每个前缀列组执行sum(axis=1),沿着列方向逐行计算求和,行顺序和原始数据完全一致,不会打乱原有记录的对应关系
  • 自动兼容只有单门细分课的学科列,不需要额外写判断逻辑

内容的提问来源于stack exchange,提问作者Matthi9000

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.08 05:06:03