You need to enable JavaScript to run this app. Pandas:如何将含嵌套字典的DataFrame转为多列索引并做聚合
优惠活动
大模型
产品
解决方案
定价
更多

Pandas:如何将含嵌套字典的DataFrame转为多列索引并做聚合

嵌套字典DataFrame重塑为多层列索引的实现方案

实现步骤(匹配目标输出结构)

首先针对你原始数据的特点——info列单元格内是多个字典组成的可迭代对象,且不同字典的数值键名不统一(部分用value、部分用InfoB),不需要严格匹配数值键名,只需要把每个字典里Info键对应的字符串作为二级列名,同字典内非Info键的数值作为对应值,就可以快速拆解出标准的长表结构,再重塑为目标宽表。

  1. 构造原始数据并逐行拆解
    import pandas as pd
    # 还原你的原始数据结构
    raw_data = [
        (1, [{'Info': 'text', 'value': 94615}, {'Info': 'text_2', 'value': 111968}]),
        (2, [{'Info': 'text', 'value': 234}, {'Info': 'text_2', 'InfoB': 236}]),
        (3, [{'Info': 'text', 'value': 524523}, {'Info': 'text_2', 'InfoB': 5555}])
    ]
    df_raw = pd.DataFrame(raw_data, columns=['Week', 'info'])
    
    # 逐行拆解为标准长表
    long_records = []
    for week, info_collection in df_raw.itertuples(index=False):
        for dict_item in info_collection:
            sub_col = dict_item['Info']
            # 兼容不同数值键名,直接提取非Info键对应的数值
            cell_value = [v for k, v in dict_item.items() if k != 'Info'][0]
            long_records.append((week, sub_col, cell_value))
    df_long = pd.DataFrame(long_records, columns=['Week', 'sub_col', 'value'])
    
    注意:不推荐直接对info列执行apply(pd.Series)的展开方式,因为这种方法会把不同字典里的value、InfoB当成独立列展开,最终无法和text、text_2的二级列名对齐,需要额外做列合并操作,反而增加复杂度。
  2. 长表转目标多层索引宽表
    # 长表转宽表结构
    df_wide = df_long.pivot(index='Week', columns='sub_col', values='value')
    # 为列添加上层索引`info`,匹配你需要的多层列结构
    df_wide.columns = pd.MultiIndex.from_product([['info'], df_wide.columns])
    # 将Week从索引恢复为普通列
    df_final = df_wide.reset_index()
    
    最终输出的df_final结构和你给出的目标完全一致。

聚合操作的最优实现方式

针对你提到的两个典型聚合场景,结合多层索引结构的特性,不同阶段的最优方案可以直接复用,不需要额外的复杂转换:

  • 计算text列的均值:直接通过多层索引定位目标列,走向量运算路径,性能最优
    text_mean = df_final[('info', 'text')].mean()
    
  • 对Week 1的所有info列数据求和:通过列层级切片直接定位info下的所有列,过滤对应Week行后聚合
    week1_sum = df_final.loc[df_final['Week'] == 1, 'info'].sum(axis=1).iloc[0]
    

pivot table的适用性

pivot table在这类场景下是非常适合的高效实现方案,尤其当你停留在df_long长表阶段时,甚至可以跳过手动逐行处理宽表的步骤,一步完成聚合+结构重塑:

比如直接计算每个Week下每个子列的均值,同时生成目标多层列结构,仅需要几行代码:

df_agg = pd.pivot_table(
    df_long,
    index='Week',
    columns='sub_col',
    values='value',
    aggfunc='mean'
)
# 补充上层列索引,保持结构一致
df_agg.columns = pd.MultiIndex.from_product([['info'], df_agg.columns])

pivot_table原生支持多聚合函数并行计算(比如同时计算均值、求和、最大值),在百万行以上的长表数据处理中,性能远高于逐行遍历宽表的方案,是这类嵌套字典展开后聚合场景的首选工具。


内容的提问来源于stack exchange,提问作者Codelicious

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.10 22:06:01