Python自定义JSON扁平化函数取值异常,如何修正以生成符合预期的pandas DataFrame
核心问题定位
当前自定义flatten函数存在两处逻辑硬伤,直接造成输出仅保留最后一组嵌套值的异常:
- 键值覆盖逻辑:遍历列表元素时,所有递归处理的结果都会被合并到同一个字典对象中,后遍历到的同名字段会直接覆盖之前的内容,最终只剩列表最后一个元素的字段值
- 缺少笛卡尔积展开能力:原函数设计目标是把嵌套结构转成单条扁平字典,没有实现“不同维度的列表元素交叉生成独立行”的逻辑,无法匹配DataFrame多行输出的要求
函数调整方案
将flatten的返回类型从单个扁平化字典调整为扁平化字典列表,针对不同输入类型做分支处理:
- 遇到字典结构:递归拆解每个键的对应值,把不同键的扁平记录做全量交叉拼接,生成多组独立记录
- 遇到字典组成的列表(如Levels下的层级对象数组):对每个列表元素单独递归展开,保留独立的记录分支
- 遇到原子值组成的列表(如users、indicators数组):每个原子值单独生成一条键值对,不做合并覆盖
- 遇到原子值(数字、字符串、布尔值):直接封装为单条键值对记录
调整后的完整可运行代码
import pandas as pd from pandas import json_normalize from collections.abc import MutableMapping as mm from itertools import product def flatten(input_data, parent_key=None, separator='.'): # 初始化基础记录 records = [{}] # 处理字典结构 if isinstance(input_data, mm): for k, v in input_data.items(): new_key = f"{parent_key}{separator}{k}" if parent_key else k # 递归获取当前键下所有子分支记录 sub_records = flatten(v, new_key, separator) # 用笛卡尔积拼接已有关联记录和子分支记录 records = [ {**existing_rec, **sub_rec} for existing_rec, sub_rec in product(records, sub_records) ] # 处理列表结构 elif isinstance(input_data, list): sub_records = [] for item in input_data: # 列表内每个元素单独展开,不合并为单字典 sub_records.extend(flatten(item, parent_key, separator)) records = sub_records # 处理原子值 else: records = [{parent_key: input_data}] return records # 测试源JSON数据 jfile = [{ "id" : 1, "labelId" : 169, "indicators" : [62], "Wait" : 6, "Levels" : [ { "isActive" : "true", "pressure" : 3, "actions" : [ {"isActive" : "true", "description" : "Place"} ], "users" : [5467, 5469, 5] }, { "isActive" : "true", "pressure" : 2, "actions" : [ {"isActive" : "true", "description" : "Test"} ], "users" : [3253, 6903] } ] }] # 批量展开顶层JSON对象 flatdoc = [] for top_item in jfile: flatdoc.extend(flatten(top_item)) # 生成DataFrame flatdoc = json_normalize(flatdoc) print(flatdoc)
运行效果说明
调整后的代码彻底解决同key值覆盖问题,自动按照嵌套层级做笛卡尔积展开:
- 第一层Levels对象(pressure=3, description=Place)会与其users列表的3个元素分别生成3行记录,与你列出的第一部分预期输出完全一致
- 第二层Levels对象(pressure=2, description=Test)会与其users列表的2个元素分别生成2行记录,形成完整的展开结果
内容的提问来源于stack exchange,提问作者jcoke
相关产品推荐
相关产品推荐

