Spark升级3.1.1后K8s上PySpark executor报resourceProfileId错误
Spark 3.0.1升级3.1.1后K8s executor启动失败问题排查
报错核心根因
这个报错并不是--resourceProfileId参数完全不被识别,而是镜像内置的executor启动shell脚本和Spark 3.1版本的参数传递逻辑不匹配:
- Spark 3.1.0版本在K8s部署模式下,给executor启动命令新增了
--resourceProfileId <id>带值参数,对应的启动脚本也同步做了参数解析逻辑更新,用来正确传递长格式带值参数 - 从日志里的帮助列表能看到,当前镜像内的Java程序本身已经可以识别
--resourceProfileId选项,但镜像里的executor启动shell脚本还是3.0.x版本的旧逻辑,在通过环境变量解析启动参数时,会截断带值参数的后半部分,最终传给Java进程的命令行里只有孤零零的--resourceProfileId,没有跟对应的ID取值,Java程序因为参数格式不合法,抛出"Unrecognized options: --resourceProfileId"错误,导致executor进程启动失败。
对应解决方案
- 替换版本完全对齐的executor镜像
第三方打包的公共镜像经常出现Java二进制和配套shell脚本版本不一致的问题,优先基于Spark官方提供的3.1.1原生基础镜像做定制:拉取官方spark:3.1.1-hadoop3.2镜像,按需集成Python3.8、S3A/Localstack相关依赖,重新打包为集群可访问的自定义镜像,替换原有配置中的第三方镜像地址,保证镜像内的Java程序和配套启动脚本和客户端Spark版本完全一致。 - 临时规避参数解析问题的配置
如果暂时无法重新打包镜像,可以在SparkConf配置中关闭资源Profile传参逻辑,从驱动端层面避免下发会触发脚本解析bug的参数:
该配置会让3.1.x版本的驱动在组装executor启动命令时,不再附加.set("spark.resource.profile.enabled", "false")--resourceProfileId相关参数,绕开旧脚本的参数解析截断问题。 - 镜像版本校验方法
可以手动拉取当前使用的第三方镜像,进入容器后分别检查两个核心文件的版本对齐情况:- 执行
/opt/spark/bin/spark-submit --version,确认内置的Spark Java二进制版本 - 打开
/opt/spark/bin/spark-class(K8s模式下executor启动调用的核心脚本),检查是否包含3.1版本新增的长参数解析逻辑
大部分同类报错都源自镜像内Java程序和shell脚本的版本不匹配。
- 执行
补充注意事项
- 跨小版本升级Spark时,K8s部署模式下的启动参数、shell脚本逻辑是强版本对齐的,哪怕只是小版本差异,只要客户端、executor镜像内的程序、配套脚本版本不一致,就大概率出现参数解析错误、类加载失败、网络协议不兼容这类问题
- 原有配置中的
spark.network.timeout=240未标注单位,Spark 3.1版本虽然会默认按秒解析,但为了避免配置兼容问题,建议统一写为spark.network.timeout=240s
内容的提问来源于stack exchange,提问作者ItayB
相关产品推荐
相关产品推荐

