Azure Databricks写入Dataframe遇2G序列化限制错误求解决方案

我正使用Python脚本在Azure Databricks中处理XML文件，将其解析为结构化Dataframe后写入Delta表，但写入时抛出序列化错误导致失败。报错信息为：
org.apache.spark.SparkException: Job aborted due to stage failure: Task 13 in stage 35.0 failed 4 times, most recent failure: Lost task 13.3 in stage 35.0 (TID 901) (10.139.64.13 executor 1): org.apache.spark.api.python.PythonException: 'ValueError: can not serialize object larger than 2G'
当前使用的集群配置为：Driver: Standard_D64s_v3 · Workers: Standard_D64s_v3 · 1-8 workers · DBR: 13.3 LTS (includes Apache Spark 3.4.1, Scala 2.12)。尝试过多种集群配置仍出现相同错误，请问是否需要在代码中配置额外设置？该如何解决此序列化问题？

• 拆分超大分区
  Spark Python侧的Pickle序列化存在2GB单对象限制，核心原因通常是DataFrame存在超大分区。先执行df.rdd.getNumPartitions()查看当前分区数，再用df.repartition(N)或df.coalesce(N)增加分区数量，确保单个分区的数据量控制在500MB-1GB范围内，避免单分区数据触发序列化上限。

• 优化XML解析逻辑
  若XML解析阶段生成了超大对象，可通过以下参数调整：

  • 指定rowTag参数定位正确的行级标签，避免将整个XML文件解析为单个Row对象；
  • 手动定义Schema替代自动推断（inferSchema），减少不必要的内存占用；
  • 提前扁平化嵌套极深的XML结构，避免生成层级复杂的大对象。

• 调整Spark序列化相关配置
  在代码中添加以下配置优化序列化行为：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder \
      .appName("XML to Delta") \
      .config("spark.sql.execution.arrow.maxRecordsPerBatch", "10000")  # 限制Arrow批处理记录数
      .config("spark.python.worker.memory", "16g")  # 提升Python Worker内存配额
      .config("spark.driver.maxResultSize", "0")  # 取消Driver结果大小限制（需确保Driver内存充足）
      .getOrCreate()
  

• 改用Scala处理关键环节（可选）
  若Python侧序列化限制无法绕过，可将XML解析或Delta写入逻辑改用Scala实现——Scala使用的Kryo序列化无2GB单对象限制，能处理更大的数据对象。

内容的提问来源于stack exchange，提问作者Antony