Spark mapInPandas 迭代器数量如何确定?能否与分区数对齐?
Spark mapInPandas 迭代器运行规则详解
我正尝试理解Spark中mapInPandas的运行原理,Databricks博客给出的参考示例代码如下:
from typing import Iterator import pandas as pd df = spark.createDataFrame([(1, 21), (2, 30)], ("id", "age")) def pandas_filter(iterator: Iterator[pd.DataFrame]) -> Iterator[pd.DataFrame]: for pdf in iterator: yield pdf[pdf.id == 1] df.mapInPandas(pandas_filter, schema=df.schema).show()
核心运行规则说明
示例场景下的pdf数量计算
上述仅包含2条测试数据的示例中,默认本地测试环境会为这批数据分配1个分区,传入UDF的迭代器中仅会包含1个pdf——整个分区的数据会被一次性加载为pandas DataFrame传入迭代器,不存在拆分行为。
为何大场景下pdf数量远多于分区数
- 迭代器中的pdf数量不直接等价于Spark的分区数量,核心触发逻辑来自Spark向量化执行框架的内存保护机制。
- 为了避免单次向Python进程传输过大的pandas对象引发内存溢出,Spark会对单个分区内的数据做自动切块拆分,拆分阈值由配置项
spark.sql.execution.arrow.maxRecordsPerBatch控制,默认值为10000,即单批最多向迭代器传入10000条记录。 - 哪怕单个分区包含百万级别的记录,也会被按阈值拆分为多个独立的pdf依次传入迭代器,这就是在1亿条数据的数据集上统计到的pdf数量远大于分区数的根本原因。
- 举个实际测算的例子:如果1亿条数据集总共被拆为200个Spark分区,每个分区平均承载50万条记录,按默认10000条每批的阈值计算,单个分区会生成50个pdf,全局总pdf数量达到10000,远高于200的分区总数。
常见认知误区:很多人会把
mapInPandas和RDD的mapPartitions做类比,两者的核心差异是mapPartitions传入的迭代器永远和分区数一一对应,不存在中间切块逻辑;而mapInPandas需要通过Arrow格式完成JVM到Python进程的序列化传输,为了平衡传输效率和内存占用,才增加了按需拆分批次的机制。
让迭代次数与分区数保持一致的实现方法
- 调整Arrow批次大小配置,将单批次可承载的记录数设置为大于单个分区的最大记录数,即可实现单个分区对应一个pdf,让迭代次数和分区数完全对齐。
- 具体调整命令为:
spark.conf.set("spark.sql.execution.arrow.maxRecordsPerBatch", 100000000),只要设置的批次阈值大于单分区的最大记录数,Spark就不会对分区内数据做拆分,整个分区的数据会被一次性打包为单个pdf传入迭代器。 - 需要注意的是,调整该参数会提高单个pandas对象的内存占用,需要提前估算单分区数据的实际内存大小,避免Executor出现内存溢出。比如1亿条字符串类型的记录,单条占10字节的话,整个DataFrame就会占用1G内存,需要保证Executor的内存配置足够承载该大小的对象。
内容的提问来源于stack exchange,提问作者Fahadakbar
相关产品推荐
相关产品推荐

