Azure Databricks导出超100列含大量空值的DataFrame为CSV任务失败

针对你导出4700万+行、100+列且含大量空值的DataFrame到CSV时出现的java.lang.OutOfMemoryError: GC overhead limit exceeded问题，以下是针对性的优化方案：

1. 优化Executor内存与GC策略 #

数据处理的核心压力在Executor而非Driver，仅调整Driver内存无法解决本质问题。配置合适的Executor资源并改用更适配大内存场景的GC算法：

# Spark任务提交配置示例
spark-submit \
  --executor-memory 16G \
  --executor-cores 4 \
  --conf spark.executor.extraJavaOptions="-XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:+HeapDumpOnOutOfMemoryError" \
  --conf spark.driver.memory 8G \
  your_job_script.py

• G1GC会将内存划分为多个独立区域，优先回收垃圾占比高的区域，减少内存碎片，更适合Spark这类大内存、高并发的计算场景。
• 根据集群节点硬件配置调整executor-memory和executor-cores，确保每个Executor有足够内存处理单分区数据。

2. 调整DataFrame分区数 #

默认分区数可能过小，导致单个分区数据量过载，引发Executor内存压力。建议按「每个分区对应100-200MB源数据」的标准调整分区数（CSV导出时数据会膨胀，可适当降低单分区源数据量）：

# 重新分区，示例设置为200个分区
df = df.repartition(200)
# 若存在合适的分区键，也可按列分区（避免数据洗牌开销）
df = df.repartition("your_partition_column")

• repartition会触发数据洗牌，确保分区数据均匀；若仅需减少分区，可使用coalesce（无洗牌操作）。

3. 优化空值处理 #

大量空值会额外占用内存（Spark需存储空值的元数据），可提前做如下处理：

• 替换空值为对应类型的默认值：

from pyspark.sql.functions import col, when

# 字符串类型空值替换为""，数值类型替换为0
df = df.select([
    when(col(c).isNull(), "").otherwise(col(c)).alias(c) 
    if df.schema[c].dataType.typeName() == "string" 
    else when(col(c).isNull(), 0).otherwise(col(c)).alias(c) 
    for c in df.columns
])

• 删除完全为空的列（业务允许的情况下）：

df = df.dropna(how="all")

4. CSV导出参数优化 #

• 启用分区导出：按某列分区存储CSV文件，降低单个文件的大小，减少Executor单次处理的数据量：

df.write.partitionBy("date_col").mode("overwrite").csv("/path/to/output")

• 关闭不必要的导出选项：如无需表头可设置header=False，减少输出数据体积；避免开启quoteAll=True（会给所有字段加引号，大幅增加数据量）。

5. 检查扁平化逻辑 #

确认JSON扁平化过程中是否产生冗余数据或过度膨胀：

• 避免不必要的explode操作，先过滤无效数据再进行扁平化；
• 检查扁平化后的列是否存在大量重复或无意义字段，及时删除。

6. 排查Driver端数据泄漏 #

确认代码中没有collect()、show()、take()等将数据拉取到Driver端的操作，这类操作会直接占用Driver内存，即使调整Driver内存也可能因数据量过大溢出。

内容的提问来源于stack exchange，提问作者Alex K