如何将分月多分类的pandas宽表重排为带日期字段的标准长表
宽表转指定长表实现方案
核心转换逻辑
宽表结构中,同一条业务标识(ref_num)、同一年份下的12个月份的a/b/c三个指标被横向展开为多列,转换的核心是将横向展开的复合列重新映射为纵向的行记录,通过标准化的宽转长逻辑即可完成重排,不需要手动逐列遍历匹配。
基于Pandas的实现方案(最便捷)
- 前置准备:提前建立月份缩写到两位数字的映射表
import pandas as pd # 月份缩写到两位日期的映射 month_map = { 'jan': '01', 'feb': '02', 'mar': '03', 'apr': '04', 'may': '05', 'jun': '06', 'jul': '07', 'aug': '08', 'sep': '09', 'oct': '10', 'nov': '11', 'dec': '12' } # 1. 读取源CSV文件 df = pd.read_csv("source.csv") # 固定保留的业务属性列 base_cols = ['ref_num', 'year'] # 剩余列全部为复合指标列,排除宽表自带的行号Index metric_cols = [col for col in df.columns if col not in base_cols + ['Index']] # 2. 执行宽表转长表(melt),保留业务属性列,把复合列转成行维度 df_long = df.melt( id_vars=base_cols, value_vars=metric_cols, var_name='col_info', value_name='value' ) # 3. 拆分复合列名,拆出月份缩写和指标名 df_long[['month_abbr', 'metric']] = df_long['col_info'].str.split('_', expand=True) # 4. 生成指定格式的date列,格式为MM/YYYY df_long['month_num'] = df_long['month_abbr'].map(month_map) df_long['date'] = df_long['month_num'] + '/' + df_long['year'].astype(str) # 5. 透视把a/b/c指标拆成独立列 result = df_long.pivot( index=['ref_num', 'date'], columns='metric', values='value' ).reset_index() # 6. 重排列顺序,生成连续的自增Index result = result[['ref_num', 'date', 'a', 'b', 'c']].reset_index(drop=True) # 导出结果文件 result.to_csv("target_long.csv", index=True)
纯Python逐行解析方案(适配超大CSV、低内存场景)
如果源CSV体积过大,无法一次性加载到内存,可通过逐行解析实现,无需依赖第三方处理库:
- 首先读取CSV表头,定位
ref_num、year的列索引;对剩余的复合列,按列名规则(月份缩写_指标名)预先计算每列对应的月份数字、指标类别,生成固定的列配置映射,避免逐行重复解析列名。 - 逐行读取数据内容,跳过表头行:
- 取出当前行的
ref_num值、year值 - 按预生成的列配置,按月份分组收集对应的a/b/c值,拼接成
MM/YYYY格式的date字段 - 每收集到一组同月份的a/b/c值,就生成一条长表记录
- 取出当前行的
- 全部数据行解析完成后,将收集到的长表记录按目标列格式写入输出CSV即可。
内容的提问来源于stack exchange,提问作者user1563247
相关产品推荐
相关产品推荐

