PySpark本地运行pytest单元测试报Too large frame错误如何解决？

问题根因 #

你遇到的Too large frame报错是Apache Spark 3.1.0 与 Python 3.9 版本不兼容导致的：Spark 3.1.0 官方适配的Python版本最高为3.8，高版本Python会导致Py4j通信层数据解析异常，抛出帧过大错误，和shuffle配置无关。

可行解决方案 #

• 方案1：降级Python版本到3.8.x，无需修改Spark版本即可直接运行现有代码
• 方案2：升级Spark版本到3.2.0及以上，Spark从3.2.0版本开始正式支持Python 3.9，升级后兼容现有Python环境
• 临时验证方案：如果不想修改现有环境，可在SparkSession初始化时额外添加Py4j通信配置，增大允许的最大帧大小，该方案仅做临时验证使用，不推荐长期落地，代码示例如下：

import pytest
from pyspark.sql import SparkSession

@pytest.fixture(scope='session')
def spark():
    spark = SparkSession.builder \
        .master("local[1]") \
        .appName("app_name") \
        .config("spark.network.maxFrameSize", "1g") \
        .getOrCreate()
    spark.sparkContext.setLogLevel("info")
    # 用yield替代return，测试结束后主动释放资源
    yield spark
    spark.stop()


def test1(spark):
    # 测试逻辑直接传入spark实例即可
    pass

PySpark单元测试优化建议 #

• 本地测试时建议关闭Spark UI，减少不必要的资源占用，添加配置.config("spark.ui.enabled", "false")即可
• 单测日志级别建议调整为WARN而非INFO，减少无效日志输出，方便定位问题
• 测试用例依赖的小数据集建议直接用createDataFrame在内存中构造，避免读取本地文件增加测试环境依赖
• 若需要验证多场景逻辑，可使用pytest参数化功能，仅覆盖边界场景即可，无需使用全量生产数据测试
• 避免在多个测试用例中重复初始化SparkSession，复用session级别的fixture可大幅提升单测运行效率

内容的提问来源于stack exchange，提问作者Vladimir Shadrin