配置spark.jars时SparkSession启动报错:Failed to add None to Spark环境
问题原因
你在创建SparkSession时使用.config('spark.jars')的方式错误,config方法需要传入键值对(配置项名称和对应值),但你只传了键spark.jars,没有指定值,导致Spark将值默认解析为None,进而尝试查找路径/home/annie/exampleApp/example/None这个不存在的jar文件,触发FileNotFoundException。
解决方案
有两种处理方式:
- 推荐方案:直接删除
.config('spark.jars')这一行。因为你已经在spark-submit命令中通过--jars ./examples/lib/app.jar指定了依赖jar包,Spark会自动继承这个配置,无需在代码中重复声明。修改后的SparkSession创建代码如下:
spark = SparkSession.builder.appName(appName) \ .getOrCreate()
- 若需在代码中显式指定jar包(不推荐重复配置),需正确传递键值对:
spark = SparkSession.builder.appName(appName) \ .config('spark.jars', './examples/lib/app.jar') \ .getOrCreate()
内容的提问来源于stack exchange,提问作者Annie K.
相关产品推荐
相关产品推荐

