如何合并数据集重复条目并对末尾列的数值进行求和汇总

这个需求完全可以实现，根据你常用的工具可以选择不同的处理方案：

方案1：Excel/Google Sheets操作（无代码基础首选） #

• 先备份原始数据避免误操作
• 选中整张数据表，点击「数据」选项卡下的「数据透视表」
• 行区域依次添加除最后一列外的所有列作为行标签
• 值区域添加最后一列，汇总方式选择「求和」
• 将生成的透视表复制为值，即可得到合并去重、末列求和的结果

方案2：Python Pandas处理（适合万行以上大数据量） #

参考代码如下：

import pandas as pd

# 读取数据，sep设置为你的列分隔符|，无表头保留header=None，有表头则删除该参数
df = pd.read_csv("你的原始数据文件路径", sep="|", header=None, skipinitialspace=True)

# 按前9列分组，对最后一列求和
group_columns = df.columns[:-1]
df_result = df.groupby(group_columns, as_index=False)[df.columns[-1]].sum()

# 导出结果到新文件
df_result.to_csv("合并结果文件路径", sep="|", index=False, header=False)

方案3：Linux/Mac 终端命令快速处理 #

直接执行awk单行命令即可完成处理：

awk -F '|' '{key=""; for(i=1;i<=NF-2;i++) key=key$i"|"; sum[key]+=$(NF-1)} END{for(k in sum) print k sum[k] "|"}' 原始数据文件名 > 结果文件名

内容的提问来源于stack exchange，提问作者OFW