如何在动态Pandas DataFrame中将多行子表头转置为列

核心思路 #

放弃硬编码行位置的方式，改为识别子表头关键字（如Fruit:、Vegetable:），将其作为分组标签，后续数据行自动关联该标签，直到下一个子表头出现。用Python的pandas可高效实现批量自动化处理，完全适配行位置动态变化的场景。

代码实现 #

import pandas as pd
import os

def process_dynamic_csv(input_path, output_path, group_headers):
    current_group = None
    data_rows = []
    # 分块读取大文件，避免内存过载
    with open(input_path, 'r', encoding='utf-8') as f:
        reader = pd.read_csv(f, chunksize=1)
        for chunk in reader:
            row = chunk.iloc[0]
            row_first_col = str(row.iloc[0])
            # 检查当前行是否为子表头
            for header in group_headers:
                if header in row_first_col:
                    current_group = header.rstrip(':')  # 去除冒号，作为分组名称
                    break
            # 仅收集有效数据行并关联当前分组
            if current_group is not None and not any(h in row_first_col for h in group_headers):
                row_dict = row.to_dict()
                row_dict['Group'] = current_group
                data_rows.append(row_dict)
    # 生成结果文件
    result_df = pd.DataFrame(data_rows)
    result_df.to_csv(output_path, index=False, encoding='utf-8')
    print(f"处理完成：{output_path}")

# 批量处理配置
input_dir = '你的CSV输入文件夹路径'
output_dir = '处理后文件输出路径'
# 替换为你实际的70个标签表头
group_headers = ['Fruit:', 'Vegetable:', 'Meat:', 'Dairy:', 'Grain:', ...]

# 创建输出目录（不存在则自动生成）
os.makedirs(output_dir, exist_ok=True)

# 遍历处理所有CSV文件
for filename in os.listdir(input_dir):
    if filename.lower().endswith('.csv'):
        input_path = os.path.join(input_dir, filename)
        output_path = os.path.join(output_dir, f"processed_{filename}")
        process_dynamic_csv(input_path, output_path, group_headers)

关键细节说明 #

• 大文件友好：用chunksize=1逐行分块读取，避免大型数据集导致的内存溢出问题。
• 动态适配：通过关键字匹配识别子表头，完全不依赖固定行号，新增行插入后无需修改代码。
• 批量自动化：遍历指定文件夹下所有CSV文件，自动完成分组处理并输出结果，适配定期批量导入的需求。

适配调整建议 #

• 如果子表头不在第一列，将row.iloc[0]修改为对应列的索引（如row.iloc[2]对应第三列）。
• 若子表头格式有变化（如带空格或特殊字符），可调整group_headers关键字，或改用模糊匹配（如row_first_col.startswith('Fruit')）。
• 如需保留子表头作为数据列名，可在识别到子表头时记录列名，后续用该列名解析后续数据行。

内容的提问来源于stack exchange，提问作者Greg H.