PySpark执行RDD操作触发Py4JJavaError问题排查求助

问题代码 #

from pyspark.sql import SparkSession

spark = SparkSession.builder.config("spark.driver.host", 
"localhost").appName("MyApp").getOrCreate()

data = [("James", "Smith", "USA", "mon"),
        ("Michael", "Rose", "USA", "tue"),
        ("Robert","Williams", "USA", "sun")]

rdd = spark.sparkContext.parallelize(data)

def days_convert(dict_key):
    return bcDays.value[dict_key]

rdd.map(lambda x : x[0]).collect()

问题描述 #

调用RDD的.map()、.take()等操作时触发Py4JJavaError，错误栈显示根源为Python worker连接超时（SocketTimeoutException）。已确认环境配置：Java 8、Spark 3.5、Python 3.12，已安装WinUtils并配置系统环境变量，但该错误仅在使用Python函数时出现，请问可能的原因是什么？

可能的原因 #

• Python版本兼容性问题：Spark 3.5官方支持的Python版本范围是3.8-3.11，Python 3.12不在官方支持列表内。基础操作可能正常运行，但自定义函数涉及驱动与worker的跨进程通信时，版本不兼容会引发底层交互异常，导致连接超时。
• 广播变量未正确初始化：代码中days_convert函数依赖bcDays广播变量，但未提供该变量的初始化代码。若bcDays未定义或未通过spark.sparkContext.broadcast()正确广播，Python worker执行函数时会抛出异常，进而导致worker进程异常退出，驱动端等待超时。
• Python worker超时配置不足：Windows环境下进程启动速度较慢，默认的Python worker连接超时时间可能不足以完成worker启动。可尝试调整两个参数：一是确保spark.executor.pyspark.python指向正确的Python解释器路径；二是增加spark.python.worker.timeout参数值（例如设置为60，单位秒），延长超时等待时间。
• 系统安全软件拦截：Windows防火墙、杀毒软件可能拦截Spark驱动与Python worker之间的Socket通信，导致连接无法建立或超时。可临时关闭安全软件测试，或为Spark相关进程添加通信白名单。
• WinUtils版本不匹配：Spark 3.5需要搭配对应Hadoop 3.x版本的WinUtils，若安装的WinUtils版本与Spark依赖的Hadoop版本不匹配，会导致底层文件系统操作异常，间接影响Python worker的启动和通信流程。

内容的提问来源于stack exchange，提问作者Abhishek Pal