Spark 3.3.0在Dataproc集群2.1.15-ubuntu20运行报错求助

问题根源 #

Dataproc镜像2.1.15-ubuntu20属于2.1.x版本系列，该系列官方支持的Spark最高版本为3.2.0，直接使用Spark 3.3.0会触发版本兼容性校验报错。

解决方案 #

• 降级Spark作业版本：将作业依赖的Spark版本调整为3.2.0（或同系列兼容子版本），确保与集群环境的Spark版本完全匹配。
• 升级Dataproc镜像版本：创建集群时选择Dataproc 2.2.x及以上版本的镜像（2.2.x系列开始原生支持Spark 3.3.x），之后再提交Spark 3.3.0作业。
• 排查自定义组件冲突：如果坚持使用现有镜像，检查是否存在第三方依赖或自定义组件强制限制了Spark版本，但此方法解决概率极低，优先推荐前两种方案。

内容的提问来源于stack exchange，提问作者Chetan Mane