如何用Pandas处理不规则数据结构并实现指定格式转换？

处理这类数据核心是先识别数据的潜在规律，再针对性拆解，常用方法包括：

• 标记分块：如果数据按固定模式重复（比如示例中每3行一组），先给每组添加分组ID，再按组处理
• 识别特殊行：筛选表头行、标识行（如示例中的Loc行），分离这类行后匹配对应数据行
• 重塑数据结构：用melt转长表、pivot转宽表，适配不规则的列/行分布
• 自定义函数批量处理：对分组后的子数据应用自定义逻辑，提取、转换所需字段
• 缺失值针对性处理：用dropna、fillna或插值法清理，但要结合数据实际含义，避免误删有效信息

针对你给出的示例数据，核心是识别每3行一组的规律，提取每组的Loc值、列名和数据行，再拼接成目标结构。代码实现如下：

import pandas as pd
import numpy as np

# 输入数据
data = [['Loc','1',np.nan],['col1','col2','col3'],['b','c','d'],
['Loc','2',np.nan],['col1','col2','col3'],['e','f','g']]
df_input = pd.DataFrame(data)

# 步骤1：创建分组ID，每3行一组
df_input['group_id'] = df_input.index // 3

# 步骤2：按分组处理，提取每组的Loc值、列名和数据
result_list = []
for _, group in df_input.groupby('group_id'):
    # 提取Loc值（第一行第二列）
    loc_val = group.iloc[0, 1]
    # 提取列名（第二行）
    cols = ['Loc'] + group.iloc[1].tolist()
    # 提取数据行（第三行）并加上Loc值
    data_row = [loc_val] + group.iloc[2].tolist()
    result_list.append(pd.Series(data_row, index=cols))

# 步骤3：拼接成目标DataFrame
df_output = pd.concat(result_list, axis=1).T.reset_index(drop=True)
print(df_output)

运行后输出：

Loc col1 col2 col3
0   1    b    c    d
1   2    e    f    g

补充说明 #

如果每组行数不固定，但有明确的Loc标识行作为分组起始，可以用cumsum生成分组ID：

# 以包含'Loc'的行为分组起始
df_input['group_id'] = (df_input[0] == 'Loc').cumsum() - 1

后续分组处理逻辑和上述一致，适配更灵活的分组规则。

内容的提问来源于stack exchange，提问作者dondondon