Pandas实现区域设备索引不一致时的多DataFrame合并与热力图数据集构建
问题定位与修正方案
原实现失效的核心原因
DataFrame.merge方法不会修改原调用对象,返回值是独立的新DataFrame。原代码循环中未将merge结果赋值回目标变量,所有合并操作的结果直接被丢弃,未对heatMapInvdf产生任何修改- 转置后的
equipInArea列名继承自allEquipAllAreas的行索引,和目标结构要求的“区域名作为列标识”不匹配,即使完成merge也无法将数值填充到对应区域的列下 - 原代码使用inner merge逻辑,合并结果的索引为两个表的索引交集,会直接丢失目标表中不属于当前区域的设备行,无法保留全量设备作为行索引的要求
- 未依托预定义的全量设备索引做值对齐,容易出现设备索引错位的问题
可行实现方案
方案1:逐区域直接赋值(高兼容性,逻辑可控)
完全保留预定义的目标表结构,利用pandas自动索引对齐的特性完成值填充,未匹配到设备的位置自动保留空值,符合需求的空值保留规则:
# 预定义全量结构 index = ['INV 1-1','INV 1-2','INV 1-3','INV 1-4','INV 2-1','INV 2-2','INV 2-3','INV 2-4', 'INV 3-1','INV 3-2','INV 3-3','INV 3-4','INV 4-1','INV 4-2','INV 4-3','INV 4-4', 'INV 5-1','INV 5-2','INV 5-3','INV 5-4','INV 6-1','INV 6-2','INV 6-3','INV 6-4', 'INV 7-1','INV 7-2','INV 7-3','INV 7-4','INV 8-1','INV 8-2','INV 8-3','INV 8-4'] columns = ['P01','P02','P03','P04','P05','P06','P07','P08','P09','P10','P11'] heatMapInvdf = pd.DataFrame(index=index, columns=columns) for area in columns: # 筛选当前区域下所有以“区域-设备编码”开头的列 matched_cols = allEquipAllAreas.columns[allEquipAllAreas.columns.str.startswith(f"{area}-")] if matched_cols.empty: continue # 提取列的目标聚合值,示例为取每个设备列的最后一行数值,可根据需求替换为mean()/max()等聚合逻辑 area_value_series = allEquipAllAreas[matched_cols].iloc[-1] # 去掉列名中的区域前缀,得到纯设备编码作为索引 area_value_series.index = area_value_series.index.str.replace(f"{area}-", "", regex=False) # 直接赋值到目标表的当前区域列,自动按设备索引对齐,未匹配的位置自动留空 heatMapInvdf[area] = area_value_series
- 该方法无需额外merge操作,每一步操作的效果可直接观察,调试成本低,完全匹配预定义的结构要求。
方案2:多级索引重构(无循环,运行效率高)
如果数据量较大,可通过列名拆分+多级索引转置的方式一步完成结构转换,无需逐区域循环:
# 拆分列名为(区域, 设备编码)的多级索引 split_col_tuples = allEquipAllAreas.columns.str.split("-", n=1, expand=True) # 为原表设置多级列名 renamed_df = allEquipAllAreas.copy() renamed_df.columns = split_col_tuples # 转置拆分后调整为“设备为行、区域为列”的结构,再对齐到全量索引 heatMapInvdf = renamed_df.stack(level=0).T.reindex(index=index, columns=columns)
- 该方法底层为pandas原生的多维索引操作,运行速度远高于逐列merge的实现,适合大数据量场景。
内容的提问来源于stack exchange,提问作者Pedro de Sá
相关产品推荐
相关产品推荐

