You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

配置spark.jars时SparkSession启动报错:Failed to add None to Spark环境

问题原因

你在创建SparkSession时使用.config('spark.jars')的方式错误,config方法需要传入键值对(配置项名称和对应值),但你只传了键spark.jars,没有指定值,导致Spark将值默认解析为None,进而尝试查找路径/home/annie/exampleApp/example/None这个不存在的jar文件,触发FileNotFoundException。

解决方案

有两种处理方式:

  • 推荐方案:直接删除.config('spark.jars')这一行。因为你已经在spark-submit命令中通过--jars ./examples/lib/app.jar指定了依赖jar包,Spark会自动继承这个配置,无需在代码中重复声明。修改后的SparkSession创建代码如下:
spark = SparkSession.builder.appName(appName) \
        .getOrCreate()
  • 若需在代码中显式指定jar包(不推荐重复配置),需正确传递键值对:
spark = SparkSession.builder.appName(appName) \
        .config('spark.jars', './examples/lib/app.jar') \
        .getOrCreate()

内容的提问来源于stack exchange,提问作者Annie K.

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.04 08:01:01