Spark读取JSON转DataFrame报错，如何正确解析并提取指定字段？

1. 正确读取S3中的JSON文件 #

首先启用multiline=true处理多行JSON，保留原始嵌套结构：

from pyspark.sql import SparkSession
from pyspark.sql.functions import explode, map_entries, col

# 初始化SparkSession（未初始化时执行）
spark = SparkSession.builder.appName("JSONSchemaParser").getOrCreate()

# 读取S3存储桶中的JSON文件
df = spark.read.option("multiline", "true").json("s3://your-bucket/path/to/target-file.json")

2. 解析嵌套的表与字段结构 #

你的JSON中myschema是包含多个表节点的Map，需要先将其展开为行数据，再解析每个表下的fields（列名-类型Map）：

# 展开myschema下的所有表，得到(表名, 表结构)的行
tables_df = df.select(explode(map_entries(col("myschema"))).alias("table_item"))
tables_df = tables_df.select(
    col("table_item.key").alias("table_name"),
    col("table_item.value.fields").alias("fields")
)

# 展开每个表的fields，得到扁平的(表名, 列名, 数据类型)结构
flat_fields_df = tables_df.select(
    col("table_name"),
    explode(map_entries(col("fields"))).alias("field_item")
).select(
    col("table_name"),
    col("field_item.key").alias("column_name"),
    col("field_item.value").alias("data_type")
)

3. 筛选NVARCHAR2类型字段并输出指定格式 #

# 筛选数据类型为NVARCHAR2的记录
nvarchar_records = flat_fields_df.filter(col("data_type") == "NVARCHAR2")

# 输出表-列-类型格式
for row in nvarchar_records.collect():
    print(f"{row.table_name} - {row.column_name} - {row.data_type}")

关键说明 #

• 之前解析结构不符合需求，是因为直接读取后myschema和fields都是嵌套Map类型，必须用map_entries将Map转为键值对数组，再通过explode展开为行数据，才能实现遍历筛选。
• multiline=true是必填项，否则Spark会将JSON的每一行视为独立对象，触发你遇到的AnalysisException解析错误。

内容的提问来源于stack exchange，提问作者Julio