如何基于多列分组从Pandas DataFrame生成指定结构嵌套JSON
Pandas生成指定嵌套JSON结构的实现方案
核心逻辑
之前的代码输出不符合预期,核心原因是分组层级不匹配:仅按key + date两级分组,没有把同一个key下的所有日期维度指标聚合到同一个对象内,需要分两步完成聚合:
- 一级聚合:预排序数据后,按
key + date分组,计算每个日期维度下的总计数、对应class的percent值列表 - 二级聚合:按原始数据中key的出现顺序,将同一个key下所有日期的指标整理成要求的列表结构,匹配示例的外层嵌套格式
可直接运行的代码
import pandas as pd import json # 构造原始测试数据 d = {'key': ['foo', 'foo', 'foo', 'foo', 'bar', 'bar', 'bar', 'bar', 'crow', 'crow', 'crow', 'crow'], 'date': ['2021-01-01', '2021-01-01', '2021-01-02', '2021-01-02', '2021-01-01', '2021-01-01','2021-01-02', '2021-01-02', '2021-01-01', '2021-01-01', '2021-01-02', '2021-01-02'], 'class': [1, 2, 1, 2, 1, 2, 1, 2, 1, 2, 1, 2], 'count': [12, 3, 5, 5, 3, 1, 4, 1, 7, 3, 8, 2], 'percent': [.8, .2, .5, .5, .75, .25, .8, .2, .7, .3, .8, .2] } df = pd.DataFrame(data=d) # 预排序:按key、date、class升序排列,保证每个分组内的行顺序和class顺序一致 df_sorted = df.sort_values(["key", "date", "class"]) # 第一步:按key、date分组,计算每个日期维度的统计值 key_date_group = df_sorted.groupby(["key", "date"]).agg( # 计算当日该key的所有count值总和 daily_total_count=("count", "sum"), # 预排序后直接将分组内的percent值转成列表,保证顺序和class一致 daily_percent_list=("percent", lambda x: x.tolist()) ).reset_index() # 第二步:按原始数据的key出现顺序组装结果,匹配示例排列顺序 key_order = df["key"].unique() result = [] for key in key_order: # 过滤当前key的所有日期数据,按日期升序排列 key_data = key_date_group[key_date_group["key"] == key].sort_values("date") result.append({ "key": key, "count": key_data["daily_total_count"].tolist(), "predictions": key_data["daily_percent_list"].tolist() }) # 匹配示例的外层嵌套列表结构 final_output = [result] # 打印格式化后的JSON print(json.dumps(final_output, indent=2))
结果验证
运行代码后生成的结构完全匹配预期:
count列表的每个元素对应同一key下不同日期的count总和,例如foo对应两个日期的总和为15、10predictions嵌套列表的每个子列表对应当日所有class的percent值,顺序和class排序一致- key的排列顺序、日期的先后顺序和示例完全对齐,无结构偏差
内容的提问来源于stack exchange,提问作者monopoly
相关产品推荐
相关产品推荐

