如何在Azure技术栈下读取3GB以上嵌套元素含重复列的JSON文件

方案1：优化PySpark读取配置（成本最低，优先尝试） #

你之前PySpark执行失败大概率是没有开启重复键兼容配置，也没有手动定义schema导致的，调整配置即可解决绝大多数场景问题：

• 开启Spark 3.0+原生支持的重复键兼容参数，设置spark.sql.json.read.allowDuplicateKeys为true，解析时默认取最后一次出现的重复键值，避免任务直接报错
• 关闭schema自动推断，手动预定义JSON嵌套结构，避免全量扫描3GB文件推断schema导致超时或OOM
• 拆分大文件为小分区处理，降低单节点内存压力
• 参考代码示例：

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, ArrayType

# 初始化Spark配置
spark = SparkSession.builder \
    .config("spark.sql.json.read.allowDuplicateKeys", "true") \
    .config("spark.sql.caseSensitive", "false") \
    .config("spark.files.maxPartitionBytes", "128MB") 
    .getOrCreate()

# 手动定义JSON嵌套schema，可先取1%小样本推断后微调
custom_schema = StructType([
    StructField("id", StringType(), nullable=True),
    StructField("nested_obj", StructType([
        StructField("common_field", StringType(), nullable=True),
        # 补充你业务场景中所有已知的嵌套字段
    ]), nullable=True),
    StructField("array_field", ArrayType(StructType([
        StructField("item_field", StringType(), nullable=True)
    ])), nullable=True)
])

# 读取JSON文件
df = spark.read.schema(custom_schema).json("abfss://你的容器@存储账号.dfs.core.windows.net/文件路径/*.json")

方案2：Azure Functions + 流式分块解析（适合嵌套结构极复杂的场景） #

如果JSON嵌套层级超过5层、重复列规则特殊（比如需要合并重复值而非直接覆盖），可以用流式解析方案，全程不需要加载全量文件到内存：

• 选用Python V2版本Azure Functions消费计划，绑定Blob存储触发器，新增ijson依赖做增量JSON解析
• 参考代码片段：

import ijson
from azure.storage.blob import BlobClient

def process_large_json(blob_url, sas_token):
    blob = BlobClient.from_blob_url(blob_url, credential=sas_token)
    download_stream = blob.download_blob(max_concurrency=5)
    # 按业务需要遍历指定JSON节点，比如遍历顶层items数组下所有元素
    for item in ijson.items(download_stream, 'items.item'):
        processed_item = {}
        # 自定义重复列处理逻辑
        for k, v in item.items():
            if k in processed_item:
                # 可自行调整为取第一个值/合并为数组等规则
                processed_item[k] = v
            else:
                processed_item[k] = v
        # 写入ADLS/ Azure SQL/ Cosmos DB等目标存储
        write_to_target(processed_item)

• 该方案支持最大10GB以上JSON文件处理，运行时内存占用始终低于100MB，成本极低。

方案3：Azure Databricks 增强配置（适合后续有大量数据转换需求的场景） #

如果需要在读取后做复杂ETL，可选用Azure Databricks替代原生Synapse Spark，额外开启如下配置提升容错性：

• spark.read.option("mode", "PERMISSIVE")：将解析失败的行存入_corrupt_record列，不会导致整体任务失败，后续可单独导出错误行做人工校验
• spark.databricks.delta.formatCheck.enabled false：关闭强制格式校验，兼容非标准JSON结构

通用注意事项 #

• 处理前可先将单3GB JSON文件拆分为多个128MB左右的小文件，能大幅提升所有方案的成功率和运行速度
• 提前明确重复列处理规则：取第一个出现值/取最后一个出现值/合并为数组，避免处理后数据不符合业务预期

内容的提问来源于stack exchange，提问作者Shailendra Kad