Spark 3.2.1+Delta Lake存大JSON遇2GB缓冲错误，求无转换解决方案

1. 切换Kryo序列化并调大缓冲区 #

Spark默认Java序列化效率低，单条记录序列化后容易触发2GB限制。换成Kryo序列化可大幅压缩数据体积，同时调大缓冲区上限适配大记录：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("DeltaBronzeIngest") \
    .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") \
    .config("spark.kryoserializer.buffer.max", "4g")  # 需小于节点JVM堆内存，可根据实际调整 \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

2. 调整数据分区（不修改DataFrame结构） #

通过调整分区数或指定分区列，分散大记录的存储，避免单分区内单条记录内存压力过大：

• 若有合适的业务字段（如时间、ID前缀），直接按字段分区写入：

df.write \
    .format("delta") \
    .mode("overwrite") \
    .partitionBy("your_non_struct_column") \
    .save("/path/to/bronze_table")

• 无合适分区字段时，直接重分区后写入（仅调整数据分布，不修改列结构）：

df.repartition(20)  # 10GB数据建议分20-50个分区，按需调整 \
    .write \
    .format("delta") \
    .mode("overwrite") \
    .save("/path/to/bronze_table")

3. 启用大记录优化配置 #

开启Spark针对大记录的内存优化参数，降低单批次处理的内存负载：

# 减少Arrow批次记录数，避免内存溢出
spark.conf.set("spark.sql.execution.arrow.maxRecordsPerBatch", "1000")
# 使用堆外内存存储列向量，减轻堆内存压力
spark.conf.set("spark.sql.columnVector.offheap.enabled", "true")

关键说明 #

Spark的单条记录2GB限制是JVM序列化缓冲区的底层限制，Delta Lake无法绕过。上述方法均无需修改你的DataFrame结构（如拆分struct列），而是通过优化序列化效率、分散数据分布、调整内存策略，将单条记录的序列化大小控制在2GB以内。

如果上述配置仍无效，说明原始JSON中存在单条记录本身超过2GB的极端情况（如struct内包含超大数组/字符串），这种情况可能不得不对超大字段做拆分，但这属于DataFrame转换，不符合你的需求，建议优先排查原始数据是否存在异常大记录。

内容的提问来源于stack exchange，提问作者Kadu