Pandas:如何将含嵌套字典的DataFrame转为多列索引并做聚合
嵌套字典DataFrame重塑为多层列索引的实现方案
实现步骤(匹配目标输出结构)
首先针对你原始数据的特点——info列单元格内是多个字典组成的可迭代对象,且不同字典的数值键名不统一(部分用value、部分用InfoB),不需要严格匹配数值键名,只需要把每个字典里Info键对应的字符串作为二级列名,同字典内非Info键的数值作为对应值,就可以快速拆解出标准的长表结构,再重塑为目标宽表。
- 构造原始数据并逐行拆解
注意:不推荐直接对import pandas as pd # 还原你的原始数据结构 raw_data = [ (1, [{'Info': 'text', 'value': 94615}, {'Info': 'text_2', 'value': 111968}]), (2, [{'Info': 'text', 'value': 234}, {'Info': 'text_2', 'InfoB': 236}]), (3, [{'Info': 'text', 'value': 524523}, {'Info': 'text_2', 'InfoB': 5555}]) ] df_raw = pd.DataFrame(raw_data, columns=['Week', 'info']) # 逐行拆解为标准长表 long_records = [] for week, info_collection in df_raw.itertuples(index=False): for dict_item in info_collection: sub_col = dict_item['Info'] # 兼容不同数值键名,直接提取非Info键对应的数值 cell_value = [v for k, v in dict_item.items() if k != 'Info'][0] long_records.append((week, sub_col, cell_value)) df_long = pd.DataFrame(long_records, columns=['Week', 'sub_col', 'value'])info列执行apply(pd.Series)的展开方式,因为这种方法会把不同字典里的value、InfoB当成独立列展开,最终无法和text、text_2的二级列名对齐,需要额外做列合并操作,反而增加复杂度。 - 长表转目标多层索引宽表
最终输出的# 长表转宽表结构 df_wide = df_long.pivot(index='Week', columns='sub_col', values='value') # 为列添加上层索引`info`,匹配你需要的多层列结构 df_wide.columns = pd.MultiIndex.from_product([['info'], df_wide.columns]) # 将Week从索引恢复为普通列 df_final = df_wide.reset_index()df_final结构和你给出的目标完全一致。
聚合操作的最优实现方式
针对你提到的两个典型聚合场景,结合多层索引结构的特性,不同阶段的最优方案可以直接复用,不需要额外的复杂转换:
- 计算
text列的均值:直接通过多层索引定位目标列,走向量运算路径,性能最优text_mean = df_final[('info', 'text')].mean() - 对Week 1的所有info列数据求和:通过列层级切片直接定位info下的所有列,过滤对应Week行后聚合
week1_sum = df_final.loc[df_final['Week'] == 1, 'info'].sum(axis=1).iloc[0]
pivot table的适用性
pivot table在这类场景下是非常适合的高效实现方案,尤其当你停留在df_long长表阶段时,甚至可以跳过手动逐行处理宽表的步骤,一步完成聚合+结构重塑:
比如直接计算每个Week下每个子列的均值,同时生成目标多层列结构,仅需要几行代码:
df_agg = pd.pivot_table( df_long, index='Week', columns='sub_col', values='value', aggfunc='mean' ) # 补充上层列索引,保持结构一致 df_agg.columns = pd.MultiIndex.from_product([['info'], df_agg.columns])
pivot_table原生支持多聚合函数并行计算(比如同时计算均值、求和、最大值),在百万行以上的长表数据处理中,性能远高于逐行遍历宽表的方案,是这类嵌套字典展开后聚合场景的首选工具。
内容的提问来源于stack exchange,提问作者Codelicious
相关产品推荐
相关产品推荐

