You need to enable JavaScript to run this app. Python自定义JSON扁平化函数取值异常,如何修正以生成符合预期的pandas DataFrame
优惠活动
大模型
产品
解决方案
定价
更多

Python自定义JSON扁平化函数取值异常,如何修正以生成符合预期的pandas DataFrame

核心问题定位

当前自定义flatten函数存在两处逻辑硬伤,直接造成输出仅保留最后一组嵌套值的异常:

  • 键值覆盖逻辑:遍历列表元素时,所有递归处理的结果都会被合并到同一个字典对象中,后遍历到的同名字段会直接覆盖之前的内容,最终只剩列表最后一个元素的字段值
  • 缺少笛卡尔积展开能力:原函数设计目标是把嵌套结构转成单条扁平字典,没有实现“不同维度的列表元素交叉生成独立行”的逻辑,无法匹配DataFrame多行输出的要求
函数调整方案

将flatten的返回类型从单个扁平化字典调整为扁平化字典列表,针对不同输入类型做分支处理:

  • 遇到字典结构:递归拆解每个键的对应值,把不同键的扁平记录做全量交叉拼接,生成多组独立记录
  • 遇到字典组成的列表(如Levels下的层级对象数组):对每个列表元素单独递归展开,保留独立的记录分支
  • 遇到原子值组成的列表(如users、indicators数组):每个原子值单独生成一条键值对,不做合并覆盖
  • 遇到原子值(数字、字符串、布尔值):直接封装为单条键值对记录
调整后的完整可运行代码
import pandas as pd
from pandas import json_normalize
from collections.abc import MutableMapping as mm
from itertools import product

def flatten(input_data, parent_key=None, separator='.'):
    # 初始化基础记录
    records = [{}]
    # 处理字典结构
    if isinstance(input_data, mm):
        for k, v in input_data.items():
            new_key = f"{parent_key}{separator}{k}" if parent_key else k
            # 递归获取当前键下所有子分支记录
            sub_records = flatten(v, new_key, separator)
            # 用笛卡尔积拼接已有关联记录和子分支记录
            records = [
                {**existing_rec, **sub_rec}
                for existing_rec, sub_rec in product(records, sub_records)
            ]
    # 处理列表结构
    elif isinstance(input_data, list):
        sub_records = []
        for item in input_data:
            # 列表内每个元素单独展开,不合并为单字典
            sub_records.extend(flatten(item, parent_key, separator))
        records = sub_records
    # 处理原子值
    else:
        records = [{parent_key: input_data}]
    return records

# 测试源JSON数据
jfile =  [{ 
    "id" : 1,
    "labelId" : 169,  
    "indicators" : [62], 
    "Wait" : 6, 
    "Levels" : [
        {
            "isActive" : "true", 
            "pressure" : 3, 
            "actions" : [
                {"isActive" : "true", "description" : "Place"}
            ], 
            "users" : [5467, 5469, 5]
        }, 
        {
            "isActive" : "true", 
            "pressure" : 2, 
            "actions" : [
                {"isActive" : "true", "description" : "Test"}
            ], 
            "users" : [3253, 6903]
        }
    ]
}]

# 批量展开顶层JSON对象
flatdoc = []
for top_item in jfile:
    flatdoc.extend(flatten(top_item))

# 生成DataFrame
flatdoc = json_normalize(flatdoc)
print(flatdoc)
运行效果说明

调整后的代码彻底解决同key值覆盖问题,自动按照嵌套层级做笛卡尔积展开:

  • 第一层Levels对象(pressure=3, description=Place)会与其users列表的3个元素分别生成3行记录,与你列出的第一部分预期输出完全一致
  • 第二层Levels对象(pressure=2, description=Test)会与其users列表的2个元素分别生成2行记录,形成完整的展开结果

内容的提问来源于stack exchange,提问作者jcoke

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.28 23:36:04