PySpark转换后DataFrame写Parquet时小数据量OOM异常咨询
问题现象
- 本地
local[*]模式运行Spark作业,读取90个csv.gz压缩文件生成5亿行原始DataFrame,直接执行df.write.parquet()写入可正常完成,无内存报错 - 对原始DataFrame执行新增5列、行过滤的转换,最终结果仅30万行,此时调用写入parquet的操作触发Java堆内存OOM
- 在30万行结果的基础上再次执行行过滤,缩减至1万行时,写入parquet的操作又可以正常执行
相关核心代码片段:
spark = SparkSession \ .builder \ .master("local[*]")\ .appName("Python Spark SQL basic example") \ .config("spark.driver.memory", "4G") \ .getOrCreate() path = r'files' file_list = g.glob(os.path.join(path, "*.gz")) df = spark.read.option("header", "true").csv(file_list) df.write.parquet("out/originalDF.parquet") #500MM rows SUCCESS! #some transformations here: 5 new columns, filter rows df.write.parquet("out/intermediateDF.parquet") #300k rows FAILED! df = df.filter(col('symbol')=='foo') df.write.parquet("out/finalDF.parquet") #10k rows SUCCESS!
触发的报错信息:
Py4JJavaError: An error occurred while calling o162.parquet. : org.apache.spark.SparkException: Job aborted. Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 48 in stage 4.0 failed 1 times, most recent failure: Lost task 48.0 in stage 4.0 (TID 228) (DESKTOP-DASDF23.home executor driver): java.lang.OutOfMemoryError: Java heap space
核心原因分析
你观察到的“数据量越小越容易OOM”的反常现象,本质是对Spark的内存计算逻辑存在认知偏差,叠加本地运行模式的特性导致:
- Spark的内存压力不看作业总数据量,只看单个Task对应单个分区的内存占用
原始5亿行数据读取时,由于csv.gz是不可分片的压缩格式,Spark会按照90个文件的边界生成分区,平均每个分区承载500多万行原始数据,数据分布完全均匀,每个写入Task的内存占用稳定可控,所以不会触发OOM。 - 转换后的数据分区分布严重倾斜
新增列、过滤行属于窄依赖操作,Spark默认不会主动重新调整分区分布。经过行过滤后,绝大多数分区的原始数据被全部过滤清空,所有符合条件的30万行有效数据,会全部集中在极少数原来的分区里。加上你新增了5个列,单条数据的内存占用比原始窄表高很多,单个倾斜分区的内存占用甚至可能超过原始均匀分区的水平,直接导致对应Task触发堆内存溢出。 - 当你把数据再次过滤到1万行时,哪怕数据全部集中在单个倾斜分区,总内存占用也远低于JVM堆的阈值,所以写入操作又能顺利执行。
- 本地模式的内存限制进一步放大了问题:当前配置的是
local[*]单节点模式,不存在独立的Executor内存隔离,所有计算任务都共享Driver进程的4G堆内存,本身的内存冗余空间就比较小,遇到分区倾斜时很容易触发OOM。
额外提示:如果你的5个新增列是用Python自定义UDF实现的,JVM和Python Worker之间的序列化传输会进一步放大单分区的内存开销,加速OOM的触发。
可落地的解决方法
- 转换完成后、写入前主动打散倾斜分区:对转换后的30万行DataFrame调用
df = df.repartition(10),通过shuffle操作把集中在少数分区的数据打散成均匀的小分区,降低单个Task的内存压力 - 替换高内存开销的实现逻辑:如果新增列的逻辑使用了Python普通UDF,替换为Spark SQL内置的列运算函数,减少跨进程序列化的内存占用
- 打开Spark自适应执行优化:在SparkSession初始化时增加配置
.config("spark.sql.adaptive.enabled", "true"),让Spark运行时自动检测倾斜分区并拆分,无需手动调整分区数 - 适当提高本地运行的内存阈值:由于
local[*]模式下Driver和Executor共享同一块JVM内存,可以把spark.driver.memory从4G调整到6-8G,适配带列扩展的计算开销 - 写入阶段配置合理的分区大小:增加配置
.config("spark.sql.files.maxRecordsPerPartition", 10000),让Spark在写parquet时自动拆分超大分区、合并过小的空分区,让每个分区的记录数维持在合理范围
内容的提问来源于stack exchange,提问作者Hugo
相关产品推荐
相关产品推荐

