如何解决Spark中单列值超过2GB无法执行explode操作的问题

方案1：数组分块后分批explode #

Spark的2GB报错本质是单Task处理的行内字段大小默认上限，你可以在内存中把大数组拆分为多个不超限的小数组块，再分别执行explode，避免单Task一次性加载全量2GB数组。
代码示例：

from pyspark.sql import functions as F

# 可根据单条obj的大小调整块大小，单条10KB的话设2000即可，单块约20MB远低于2GB限制
chunk_size = 2000

# 第一步：生成数组下标拆分区间，把单条大数组拆分为多个块
rawdf_with_chunk = rawdf.withColumn("array_len", F.size("obj_array")) \
    .withColumn("chunk_start_seq", F.sequence(F.lit(0), F.col("array_len"), F.lit(chunk_size))) \
    .select("*", F.explode("chunk_start_seq").alias("start_idx"))

# 第二步：按区间截取小数组，再执行explode
explodeddf = rawdf_with_chunk.withColumn("sub_obj_array", F.slice("obj_array", F.col("start_idx") + 1, chunk_size)) \
    .select("file_name", "timestamp_created", F.explode("sub_obj_array").alias("data"))

核心逻辑：把原本单Task处理的大数组拆分到多个Task并行处理，从执行逻辑上规避单字段2GB上限，不需要修改原始文件

方案2：临时调整Spark配置放宽限制 #

如果集群单节点可用内存足够，可临时调整Spark参数绕过默认2GB限制：

• 调大分区最大字节：spark.sql.files.maxPartitionBytes设置为略大于数组大小的数值，比如4GB
• 开启堆外内存：设置spark.memory.offHeap.enabled=true，同时spark.memory.offHeap.size设为大于数组大小的数值，比如5GB
• 同步调大Executor内存：spark.executor.memory至少设置为8GB以上
  注意该方案仅适合数组大小不超过单节点可用内存的场景，超大数组优先用分块方案

方案3：跳过全量数组加载直接解析单条对象 #

如果你的原始JSON本身是外层包裹数组的格式，可以放弃multiline=true的读取逻辑，直接按文本行读取文件、过滤外层数组括号后直接解析单条数据，从根源上避免生成2GB的单字段：
代码示例：

# 直接读取文件为文本行RDD
text_rdd = spark.sparkContext.textFile(jsonFilePath)

# 过滤外层数组的[、]符号，以及行尾逗号
parsed_rdd = text_rdd.filter(lambda line: line.strip() not in ('[', ']')) \
    .map(lambda line: line.rstrip(',').strip()) \
    .filter(lambda line: line)

# 直接用obj_array的元素schema解析单条JSON数据
explodeddf = spark.read.schema(entitySchema["obj_array"].elementType).json(parsed_rdd)

# 按需补充file_name、timestamp_created字段即可
explodeddf = explodeddf.withColumn("file_name", F.lit(jsonFilePath.split("/")[-1])) \
    .withColumn("timestamp_created", F.current_timestamp())

内容的提问来源于stack exchange，提问作者Tinman