如何在Spark SQL中对序列化JSON列执行schema自动推断？

Spark原生SQL可以通过以下方式实现和Scala代码等价的JSON列Schema推断+解析逻辑： #

版本适配说明 #

• Spark 3.0及以上版本可使用schema_of_json_agg聚合函数实现全量样本的Schema推断，覆盖最全的字段结构
• 低于3.0的版本可使用schema_of_json函数单样本推断，仅能覆盖单条JSON包含的字段

实现步骤 #

手动两步实现（兼容所有Spark版本） #

1. 第一步运行查询获取JSON列的Schema定义

-- 3.0及以上版本，全量推断
SELECT schema_of_json_agg(context) AS context_schema FROM your_table;

-- 3.0以下版本，取第一条样本推断
SELECT schema_of_json(first(context)) AS context_schema FROM your_table;

运行后会拿到结构类似STRUCT<user_id: STRING, event_time: TIMESTAMP, props: STRUCT<action: STRING, value: BIGINT>>的Schema字符串。
2. 第二步用拿到的Schema解析JSON列

SELECT 
  *,
  from_json(context, '<替换为上一步拿到的Schema字符串>') AS parsed_context
FROM your_table;

全自动实现（适配Spark 3.4及以上版本） #

如果需要完全自动化不需要手动复制Schema，可以借助Spark 3.4新增的SQL变量能力实现单脚本全流程运行：

-- 声明变量存储推断出的Schema
DECLARE context_schema STRING;
-- 动态推断Schema赋值给变量
SET VAR context_schema = (SELECT schema_of_json_agg(context) FROM your_table);

-- 直接使用变量解析JSON
SELECT 
  *,
  from_json(context, context_schema) AS parsed_context
FROM your_table;

注意事项 #

如果JSON列数据量很大，可以在推断Schema的查询中加limit取部分样本提升推断效率，只要样本覆盖所有可能的JSON字段即可。

内容的提问来源于stack exchange，提问作者Harshit