如何在Databricks上用PySpark读取100GB嵌套JSON并提取数据

一、文件读取与数据拆分 #

由于文件是单条记录包含大数组的多行JSON.gz，直接读取会导致数据集中在单个分区，无法并行处理，需按以下步骤操作：

1. 读取压缩文件
   Spark支持自动识别gzip格式，必须开启multiline参数以正确解析多行JSON：

df = spark.read.option("multiline", "true").json("path/to/target.json.gz")

2. 拆分大数组实现并行
   利用explode函数将嵌套数组拆分为多行，让数据分散到多个分区：

from pyspark.sql.functions import explode

# 按需展开一个或两个数组列，这里以同时展开两个为例
df_exploded = df.select(
    explode("in_netxxxx").alias("in_net_item"),
    explode("provider_xxxxx").alias("provider_item")
)

二、嵌套字段提取 #

针对深度嵌套的Struct类型字段，直接通过点语法或selectExpr提取目标字段，无需复杂的递归解析：

# 示例：提取嵌套层级的具体字段
extracted_df = df_exploded.select(
    "in_net_item.id",
    "in_net_item.detail.address.city",
    "provider_item.name",
    "provider_item.contact.email"
)

优化建议：预定义Schema #

深度嵌套结构自动推断Schema耗时久且易出错，建议提前定义StructType Schema，大幅提升读取效率：

from pyspark.sql.types import StructType, StructField, StringType, ArrayType

# 按实际JSON结构定义嵌套Schema
in_net_schema = StructType([
    StructField("id", StringType()),
    StructField("detail", StructType([
        StructField("address", StructType([
            StructField("city", StringType()),
            StructField("zip", StringType())
        ]))
    ]))
])

provider_schema = StructType([
    StructField("name", StringType()),
    StructField("contact", StructType([
        StructField("email", StringType()),
        StructField("phone", StringType())
    ]))
])

total_schema = StructType([
    StructField("in_netxxxx", ArrayType(in_net_schema)),
    StructField("provider_xxxxx", ArrayType(provider_schema))
])

# 使用预定义Schema读取文件
df = spark.read.option("multiline", "true").schema(total_schema).json("path/to/target.json.gz")

三、集群配置建议 #

针对解压后100GB的大文件，需匹配足够的计算与内存资源：

• 集群模式：优先选择Spark on YARN或K8s，便于资源弹性调度
• Executor配置：每个Executor分配4-8核、16-32GB内存（嵌套结构需较高内存），Executor数量根据集群总资源调整（例如总内存512GB时，可配置16个32GB的Executor）
• Driver配置：分配8-16GB内存，确保Schema解析与任务调度稳定
• Spark参数调优：
  • 设置spark.sql.shuffle.partitions=200-500（根据展开后的数据量调整，避免分区过多或过少）
  • 设置spark.driver.maxResultSize=2GB（防止结果集溢出）
• 存储优化：使用高速存储介质（如SSD、云对象存储），避免IO瓶颈

内容的提问来源于stack exchange，提问作者Vinay Gupta