从大型DataFrame创建透视/融合DataFrame的高效方法

嘿，我完全懂你面对36000列超大型DataFrame的崩溃感——尤其是里面还堆了一堆重复的分类关联信息（比如你说的站点名+邮编配对），还要按日期激活的站点来拆分关联表。结合你的需求，我给你一套实操性强的步骤，帮你把这个庞然大物拆成清晰的关联型DataFrame：

第一步：先识别重复的关联列组 #

首先得把那些成对/成组出现的列归类，比如每个站点对应的「站点名、邮编、激活日期」会是一组，列名大概率有规律（比如site_1、zip_1、date_1，site_2、zip_2、date_2这种）。我们可以用正则表达式把这些列按组归类：

import pandas as pd
import re

# 假设你的原始DataFrame叫df
# 写个正则匹配列名里的分组编号（比如从site_1里提取1）
group_regex = re.compile(r'_(\d+)$')
column_groups = {}

# 遍历所有列，按分组编号归类
for col_name in df.columns:
    match_result = group_regex.search(col_name)
    if match_result:
        group_number = match_result.group(1)
        if group_number not in column_groups:
            column_groups[group_number] = []
        column_groups[group_number].append(col_name)

如果你的列名规律不是_数字（比如siteA、zipA），只要调整正则表达式匹配分组标识就行，核心是把同属一个站点的列归到一组。

第二步：生成统一格式的关联子表并合并 #

接下来把每个列组转换成结构一致的子DataFrame，然后纵向合并成一个完整的关联表——这样每个行就对应一个激活站点的信息，还能保留原DataFrame的行索引作为关联键，方便后续和核心数据联动：

# 初始化列表存每个组的子表
site_sub_dfs = []

for group_num, cols in column_groups.items():
    # 把当前组的列名重命名成统一格式（去掉后缀编号）
    clean_col_names = [col.replace(f'_{group_num}', '') for col in cols]
    # 提取当前组的列并改名
    group_df = df[cols].rename(columns=dict(zip(cols, clean_col_names)))
    # 添加关联ID（原DataFrame的行索引）和组编号
    group_df['record_id'] = df.index
    group_df['site_group_id'] = group_num
    # 加入列表
    site_sub_dfs.append(group_df)

# 合并所有子表成一个大的关联表
association_df = pd.concat(site_sub_dfs, ignore_index=True)
# 过滤掉全空的行（有些记录里可能这个站点组没激活）
association_df = association_df.dropna(how='all', subset=clean_col_names)

第三步：拆分核心数据与关联表建立关联 #

如果原始DataFrame里还有非站点相关的核心业务列，你可以把这些列单独拆出来做主表，然后通过record_id和刚才的关联表关联，形成完整的关联结构：

# 提取所有不属于站点组的核心列
core_columns = [col for col in df.columns if not group_regex.search(col)]
# 生成主表，保留record_id作为关联键
main_data_df = df[core_columns].reset_index().rename(columns={'index': 'record_id'})

# 举个关联查询的例子：查看第0条原始记录对应的所有激活站点
target_record = main_data_df[main_data_df['record_id'] == 0]
related_sites = association_df[association_df['record_id'] == 0]

额外优化建议 #

• 如果合并后的关联表太大，内存吃紧，可以分批次处理列组，写完一部分就导出到文件再处理下一部分；
• 如果发现很多站点信息是重复的（比如不同组里的站点名+邮编完全一样），可以再生成一个站点维度表：先对association_df里的站点信息去重，给每个唯一站点分配一个site_id，然后关联表里只存site_id，这样能大幅缩减数据量；
• 如果列名没有明显规律，可以手动指定列组的映射关系（比如group1 = ['site_name_001', 'zip_code_001', 'active_date_001']），再按上面的步骤处理。

内容的提问来源于stack exchange，提问作者wingsoficarus116