求助：Power Query高效合并千店动态双表头行方案

问题背景 #

现有超4万行88列的数据集，包含1000+店铺（按Column1分组），每组固定存在两行表头：一行是Product（产品名）、一行是Datatype（数据类型）。需将Column3及以后的列名合并为「产品名 : 数据类型」格式，原逐组循环处理的代码在大数据下运行超100分钟，需优化效率。

核心优化思路 #

放弃逐组遍历的低效逻辑，利用pandas的批量矢量化操作和底层C扩展方法，减少Python层循环开销：

• 一次性提取所有分组的双表头信息，批量生成新列名
• 直接过滤所有表头行，保留有效数据行
• 避免逐组修改数据，采用全局批量赋值

具体实现（Python pandas） #

import pandas as pd

# 读取原始数据（根据实际存储格式调整，如Excel用pd.read_excel）
df = pd.read_csv("your_raw_data.csv")

# 1. 标记每个店铺分组内的行序号（从0开始计数）
df["group_row_idx"] = df.groupby("Column1").cumcount()

# 2. 提取所有店铺的Product表头行（每组第0行）和Datatype表头行（每组第1行）
product_rows = df[df["group_row_idx"] == 0].iloc[:, 2:]  # 取Column3及以后的列
datatype_rows = df[df["group_row_idx"] == 1].iloc[:, 2:]

# 3. 批量合并生成新列名：产品名 : 数据类型
new_col_names = [f"{prod} : {dt}" for prod, dt in zip(product_rows.values.flatten(), datatype_rows.values.flatten())]

# 4. 拼接最终列名（保留前两列原始名称）
final_col_names = df.columns[:2].tolist() + new_col_names

# 5. 过滤掉所有表头行，只保留有效数据行（每组从第2行开始）
final_df = df[df["group_row_idx"] >= 2].drop(columns=["group_row_idx"])

# 6. 赋值最终列名并保存结果
final_df.columns = final_col_names
final_df.to_csv("processed_data.csv", index=False)

性能说明 #

• 该方案完全避免Python层逐组循环，核心操作均为pandas底层优化的批量处理，针对4万行88列的数据，处理时间可压缩至1分钟以内（取决于硬件配置）
• 兼容列序动态变化场景，无需硬编码列索引，仅通过iloc[:,2:]定位目标列

内容的提问来源于stack exchange，提问作者Leo Tulipan