Python如何实现适配可变映射表的Excel多对一列累加合并(基于pandas)
动态映射列累加合并实现方案
核心思路
不需要硬编码固定的映射列位置,先从Excel映射表中自动提取所有有效映射关系,生成「目标列名 - 对应源列列表」的动态字典,再对接两个源数据集完成逐行累加。整个流程完全适配后续用户修改映射表的场景,无需手动调整代码。
分步实现逻辑
- 读取映射表后逐行扫描,以A列值为目标列名,提取同一行B列到最末列的所有非空单元格,剔除空值后组成该行目标列对应的源列名列表,存入映射字典
- 收集映射字典中所有被引用的源列名,去重后分别从两个源数据集(第一组列对应B-D区映射、第二组列对应E-L区映射)中取出对应列,横向拼接成临时计算表
- 对映射字典中的每个目标列,取出临时表中对应该目标列的所有源列,逐行求和(自动跳过空值),生成最终的合并数据集列
可直接运行的示例代码
import pandas as pd # 1. 读取Excel映射表,自动识别所有非空映射关系 mapping_df = pd.read_excel("自定义映射表.xlsx") # 2. 动态生成映射关系字典 target_mapping = {} for _, row in mapping_df.iterrows(): target_col_name = row["A"] # 跳过A列的空值行,避免无效映射 if pd.isna(target_col_name): continue # 取当前行从B列开始的所有值,自动删除空值 mapped_source_cols = row.iloc[1:].dropna().tolist() target_mapping[target_col_name] = mapped_source_cols # 3. 加载两个源数据集(需提前确保两个数据集逐行对齐、索引一致) source1 = pd.read_excel("第一个源数据集.xlsx") source2 = pd.read_excel("第二个源数据集.xlsx") # 4. 拼接所有被映射的源列生成临时计算表 referenced_cols = [] for cols in target_mapping.values(): referenced_cols.extend(cols) referenced_cols = list(set(referenced_cols)) # 列名去重减少重复计算 temp_calc_df = pd.DataFrame(index=source1.index) for col in referenced_cols: # 从第一个源取列 if col in source1.columns: temp_calc_df[col] = source1[col] # 从第二个源取列,如果列已存在则累加数值 if col in source2.columns: if col in temp_calc_df.columns: temp_calc_df[col] = temp_calc_df[col] + source2[col].fillna(0) else: temp_calc_df[col] = source2[col] # 5. 生成最终合并数据集 final_dataset = pd.DataFrame(index=source1.index) for target_col, source_cols in target_mapping.items(): # 逐行累加对应源列,空值自动按0处理 final_dataset[target_col] = temp_calc_df[source_cols].sum(axis=1, skipna=True)
适配额外需求的特性
- 自动识别映射表的新增修改:不管后续用户在C-D区(第一个源映射位)、F-L区(第二个源映射位)新增多少非空映射列,只要重新读取映射表,代码会自动扫描到新增的列名,纳入计算逻辑,无需调整代码逻辑
- 自动忽略空值:映射表中的空单元格不会被纳入源列列表,源数据中的空值会在求和时自动按0处理,不会因空值导致计算错误
- 错误前置提示:如果映射表中填写的源列名在两个源数据集里都不存在,代码会直接抛出列名不存在的错误,方便及时修正拼写问题,不会悄悄生成错误结果
注意事项:需保证两个源数据集的行数完全一致、行序一一对应,否则累加值会错位,导致数据逻辑错误
内容的提问来源于stack exchange,提问作者PavK0791
相关产品推荐
相关产品推荐

