PySpark读取含动态多键的JSON并转为结构化数据表

核心思路 #

跳过对动态ID键的处理，直接提取每个ID对应的对象值组成列表，再将列表转换为结构化表格——这种方式天然适配属性的动态扩展，不需要手动维护列名或做逆透视操作。

Python/Pandas 实现 #

这是最便捷的方案，Pandas会自动识别所有对象属性并生成对应列：

import json
import pandas as pd

# 加载JSON数据（文件或字符串）
with open('cats_data.json', 'r') as f:
    raw_data = json.load(f)

# 提取所有猫的信息列表（自动忽略动态ID）
cat_records = list(raw_data['cats'].values())

# 直接转换为结构化DataFrame
table_cats = pd.DataFrame(cat_records)

# 输出查看结果
print(table_cats)

• 新增属性（如favorite_toy、favorite_owner）会自动成为DataFrame的新列，缺失该属性的记录会填充NaN
• 无需提前定义列名，完全适配动态变化的结构

PostgreSQL 数据库端实现 #

如果JSON存储在PostgreSQL中，可利用内置JSON函数直接展开：

方式1：按需提取属性（推荐，可控性强）

SELECT 
    (cat_obj ->> 'name') AS name,
    (cat_obj ->> 'favorite_food') AS favorite_food,
    (cat_obj ->> 'favorite_toy') AS favorite_toy -- 新增属性直接追加提取语句
FROM your_table,
     jsonb_each(your_json_column -> 'cats') AS cats(dynamic_id, cat_obj);

方式2：自动识别所有属性（需提前声明可能的列）

SELECT *
FROM jsonb_to_recordset(your_json_column -> 'cats') 
AS cat_records(name text, favorite_food text, favorite_toy text, favorite_owner text);

• 若属性完全不可预测，可结合jsonb_object_keys生成动态SQL，适配极端动态场景

为什么之前的方法不实用？ #

你尝试的explode+逆透视操作，本质是先把动态ID拆分为行，再将属性转为列，多了一层不必要的转换。直接提取ID对应的值列表，相当于把每个猫的对象直接作为一条表记录，从根源上适配了结构化表的需求，无论属性数量多少都能高效处理。

内容的提问来源于stack exchange，提问作者zenzo