仅含1条1GB超大行的Spark DataFrame写入耗时过长如何解决？

该现象完全正常。Spark的最小任务调度粒度为单条数据行，引擎不支持将同一条数据拆分到多个Task并行处理。即便单条数据体量达到1GB，全程也只能由单个Executor线程串行完成序列化、网络传输、磁盘写入全流程，无法利用集群分布式算力，耗时过长是必然结果。

你对两个算子的理解存在偏差，coalesce(10)未生效属于预期行为：

• repartition(partitionNum) 会触发全量Shuffle，通过哈希规则将数据打散到指定数量的分区，但Shuffle的拆分粒度依然是整行数据，不会拆分单条记录的内部内容
• coalesce(partitionNum) 默认不触发Shuffle，仅支持合并减少现有分区，无法实现分区扩容；只有传入shuffle=true参数时，才会走与repartition一致的Shuffle逻辑调整分区数

coalesce(10)无效有两层核心原因：

1. 若初始DataFrame仅1个分区，默认不开启Shuffle的coalesce根本无法将分区数提升到10，实际运行时分区数仍为1
2. 即便使用repartition(10)或coalesce(10, shuffle=true)触发Shuffle，1GB的单条数据也只会被分配到其中1个分区，剩余9个分区为空，依然只有1个Task串行处理，无任何并行度提升

你提到的“单条数据导致数据倾斜无法消除”的结论成立，但需要明确：该场景不属于常规key分布不均导致的倾斜，本质是数据粒度过粗导致的天然并行度为1，常规倾斜优化手段完全不生效。

核心解决思路是将单条1GB的大记录拆分为多条小记录，从根源提升处理并行度，可根据业务场景选择对应方案：

• 若大字段为数组、Map、Struct等复合类型：直接用explode类函数将嵌套结构中的元素炸开为独立行，拆分后再重分区写入即可实现多Task并行处理，示例代码：

from pyspark.sql import functions as F
# 假设big_col为存储JSON数组的大字段
df = df.withColumn("parsed_arr", F.from_json(F.col("big_col"), "array<string>")) \
       .select(F.explode("parsed_arr").alias("content_fragment"))

• 若大字段为超长字符串（如拼接文本、整段JSON）：编写UDF按固定大小/固定分隔符将大字符串切分为多个子片段，每个片段生成独立行，额外增加分片序号字段，后续读取时可按序号拼接还原完整内容
• 若单条记录为单个二进制文件（如完整视频、压缩包被读取为单条二进制数据）：不要使用Spark默认的整文件读取逻辑加载为单条行记录，改用支持分片读取的大文件处理接口，或直接使用分布式文件系统原生拷贝工具传输这类单大文件，不要走Spark行级写入流程
• 临时兜底优化：如果暂时无法调整数据拆分逻辑，可调大对应Executor的内存上限，关闭写入阶段的流控、限速限制，减少序列化过程中的磁盘溢写次数，可一定程度缩短耗时，但无法从根本上解决单线程处理的性能瓶颈。

内容的提问来源于stack exchange，提问作者Pavel Orekhov